AI કેટલી ઉર્જા વાપરે છે?

જવાબ: સરળ ટેક્સ્ટ કાર્ય માટે AI ખૂબ ઓછી વીજળીનો ઉપયોગ કરી શકે છે, પરંતુ જ્યારે પ્રોમ્પ્ટ લાંબા હોય, આઉટપુટ મલ્ટિમોડલ હોય અથવા સિસ્ટમો મોટા પાયે કાર્ય કરે ત્યારે તે ઘણી વધારે વીજળી વાપરે છે. તાલીમ સામાન્ય રીતે મુખ્ય ઉર્જા હિટ હોય છે, જ્યારે વિનંતીઓ એકઠી થાય તેમ રોજિંદા અનુમાન મહત્વપૂર્ણ બની જાય છે.

મુખ્ય બાબતો:

સંદર્ભ: કોઈપણ ઊર્જા અંદાજ ટાંકતા પહેલા કાર્ય, મોડેલ, હાર્ડવેર અને સ્કેલ વ્યાખ્યાયિત કરો.

તાલીમ: બજેટનું આયોજન કરતી વખતે મોડેલ તાલીમને મુખ્ય ઉર્જા ઘટના તરીકે ગણો.

અનુમાન: વારંવારના અનુમાનને નજીકથી જુઓ, કારણ કે નાના પ્રતિ-વિનંતી ખર્ચ ઝડપથી સ્કેલ પર વધે છે.

ઇન્ફ્રાસ્ટ્રક્ચર: કોઈપણ વાસ્તવિક અંદાજમાં ઠંડક, સંગ્રહ, નેટવર્ક અને નિષ્ક્રિય ક્ષમતાનો સમાવેશ કરો.

કાર્યક્ષમતા: ઉર્જા વપરાશ ઘટાડવા માટે નાના મોડેલો, ટૂંકા પ્રોમ્પ્ટ, કેશીંગ અને બેચીંગનો ઉપયોગ કરો.

આ પછી તમને વાંચવા ગમશે તેવા લેખો:

🔗 AI પર્યાવરણને કેવી રીતે અસર કરે છે
AI ના કાર્બન ફૂટપ્રિન્ટ, ઉર્જા ઉપયોગ અને ટકાઉપણું ટ્રેડ-ઓફ સમજાવે છે.

🔗 શું AI પર્યાવરણ માટે ખરાબ છે?
AI મોડેલો અને ડેટા સેન્ટરોના છુપાયેલા પર્યાવરણીય ખર્ચને અનપેક કરે છે.

🔗 AI સારું છે કે ખરાબ? ફાયદા અને ગેરફાયદા
AI લાભો, જોખમો, નીતિશાસ્ત્ર અને વાસ્તવિક અસરો પર સંતુલિત નજર.

🔗 AI શું છે? એક સરળ માર્ગદર્શિકા
AI ની મૂળભૂત બાબતો, મુખ્ય શબ્દો અને રોજિંદા ઉદાહરણો મિનિટોમાં શીખો.

આ પ્રશ્ન લોકોના વિચાર કરતાં વધુ મહત્વપૂર્ણ કેમ છે 🔍

AI ઉર્જાનો ઉપયોગ ફક્ત પર્યાવરણીય ચર્ચાનો મુદ્દો નથી. તે કેટલીક ખૂબ જ વાસ્તવિક બાબતોને સ્પર્શે છે:

• વીજળીનો ખર્ચ - ખાસ કરીને ઘણી બધી AI વિનંતીઓ ચલાવતા વ્યવસાયો માટે

• કાર્બન અસર - સર્વર પાછળના પાવર સ્ત્રોત પર આધાર રાખીને

• હાર્ડવેર સ્ટ્રેન - શક્તિશાળી ચિપ્સ ગંભીર વોટેજ ખેંચે છે

• નિર્ણયોનું કદ બદલવું - એક સસ્તો સંકેત લાખો મોંઘા નિર્ણયોમાં ફેરવાઈ શકે છે

• પ્રોડક્ટ ડિઝાઇન - કાર્યક્ષમતા ઘણીવાર લોકો જે સમજે છે તેના કરતાં વધુ સારી સુવિધા છે (ગુગલ ક્લાઉડ, ગ્રીન એઆઈ)

ઘણા લોકો પૂછે છે કે "AI કેટલી ઉર્જા વાપરે છે?" કારણ કે તેઓ એક નાટકીય સંખ્યા ઇચ્છે છે. કંઈક વિશાળ. કંઈક હેડલાઇન-ફ્રેન્ડલી. પરંતુ વધુ સારો પ્રશ્ન એ છે કે: આપણે કયા પ્રકારના AI ઉપયોગ વિશે વાત કરી રહ્યા છીએ? કારણ કે તે બધું બદલી નાખે છે. (IEA)

એક જ સ્વતઃપૂર્ણ સૂચન? ખૂબ નાનું.
વિશાળ ક્લસ્ટરોમાં એક ફ્રન્ટિયર મોડેલને તાલીમ આપવી? ઘણું, ઘણું મોટું.
લાખો વપરાશકર્તાઓને સ્પર્શતું હંમેશા ચાલુ રહેતું એન્ટરપ્રાઇઝ AI વર્કફ્લો? હા, તે ઝડપથી વધે છે... જેમ કે પૈસા ભાડાની ચુકવણીમાં ફેરવાઈ જાય છે. (DOE, Google Cloud)

AI કેટલી ઉર્જા વાપરે છે? ટૂંકો જવાબ ⚡

અહીં વ્યવહારુ સંસ્કરણ છે.

AI હળવા વજનના કાર્ય માટે વોટ-અવરના નાના ભાગથી લઈને મોટા પાયે તાલીમ અને જમાવટ માટે વિશાળ માત્રામાં વીજળીનો ઉપયોગ કરી શકે છે. તે શ્રેણી વિશાળ હોવાને કારણે હાસ્યાસ્પદ લાગે છે. (Google Cloud, Strubell et al.)

સરળ શબ્દોમાં કહીએ તો:

• સરળ અનુમાન કાર્યો - ઘણીવાર પ્રતિ-ઉપયોગ ધોરણે પ્રમાણમાં સામાન્ય

• લાંબી વાતચીત, મોટા આઉટપુટ, છબી જનરેશન, વિડિઓ જનરેશન - નોંધપાત્ર રીતે વધુ ઊર્જા-સઘન

• મોટા મોડેલોને તાલીમ આપવી - વીજ વપરાશનો હેવીવેઇટ ચેમ્પિયન

• આખો દિવસ સ્કેલ પર AI ચલાવવું - જ્યાં "વિનંતી દીઠ નાનું" "મોટું કુલ બિલ" બને છે (ગુગલ ક્લાઉડ, DOE)

એક સારો નિયમ આ છે:

• તાલીમ એ એક વિશાળ ઉર્જા ઘટના છે 🏭

• અનુમાન એ ચાલુ ઉપયોગિતા બિલ છે 💡 (સ્ટ્રુબેલ અને અન્ય, ગૂગલ રિસર્ચ)

તો જ્યારે કોઈ પૂછે કે, AI કેટલી ઉર્જા વાપરે છે?,ત્યારે સીધો જવાબ હોય છે, "એક રકમ નહીં - પણ કાર્યક્ષમતા મહત્વપૂર્ણ છે તેટલો પૂરતો છે, અને તેટલો સ્કેલ આખી વાર્તા બદલી નાખે છે." (IEA, ગ્રીન AI)

મને ખબર છે કે લોકો ઇચ્છે છે તેટલું આકર્ષક નથી. પણ તે સાચું છે.

AI ઊર્જા અંદાજનું સારું સંસ્કરણ શું બનાવે છે? 🧠

સારો અંદાજ એ ફક્ત ગ્રાફિક પર ફેંકાયેલી નાટકીય સંખ્યા નથી. વ્યવહારુ અંદાજમાં સંદર્ભનો સમાવેશ થાય છે. નહીં તો તે બાથરૂમના સ્કેલથી ધુમ્મસનું વજન કરવા જેવું છે. પ્રભાવશાળી લાગે તેટલું નજીક, વિશ્વાસ કરવા જેટલું નજીક નહીં. (IEA, Google Cloud)

યોગ્ય AI ઊર્જા અંદાજમાં શામેલ હોવું જોઈએ:

• કાર્યનો પ્રકાર - ટેક્સ્ટ, છબી, ઑડિઓ, વિડિઓ, તાલીમ, ફાઇન-ટ્યુનિંગ

• મોડેલનું કદ - મોટા મોડેલોને સામાન્ય રીતે વધુ ગણતરીની જરૂર હોય છે

• વપરાયેલ હાર્ડવેર - બધી ચિપ્સ સમાન રીતે કાર્યક્ષમ નથી.

• સત્રની લંબાઈ - ટૂંકા પ્રોમ્પ્ટ અને લાંબા મલ્ટી-સ્ટેપ વર્કફ્લો ખૂબ જ અલગ છે

• ઉપયોગિતા - નિષ્ક્રિય સિસ્ટમો હજુ પણ પાવર વાપરે છે

• ઠંડક અને માળખાગત સુવિધા - સર્વર આખું બિલ નથી.

• સ્થાન અને ઊર્જાનું મિશ્રણ - વીજળી દરેક જગ્યાએ સમાન રીતે સ્વચ્છ નથી (ગુગલ ક્લાઉડ, IEA)

આ જ કારણ છે કે બે લોકો AI વીજળીના ઉપયોગ વિશે દલીલ કરી શકે છે અને બંને સંપૂર્ણપણે અલગ વસ્તુઓ વિશે વાત કરતી વખતે આત્મવિશ્વાસપૂર્ણ લાગે છે. એક વ્યક્તિનો અર્થ એક જ ચેટબોટ પ્રતિભાવ છે. બીજાનો અર્થ એક વિશાળ તાલીમ દોડ છે. બંને "AI" કહે છે અને અચાનક વાતચીત પાટા પરથી સરકી જાય છે 😅

સરખામણી કોષ્ટક - AI ઉર્જા વપરાશનો અંદાજ કાઢવાની શ્રેષ્ઠ રીતો 📊

જે કોઈ પ્રશ્નને પ્રદર્શન કલામાં ફેરવ્યા વિના જવાબ આપવાનો પ્રયાસ કરી રહ્યા છે તેમના માટે અહીં એક વ્યવહારુ કોષ્ટક છે.

સાધન અથવા પદ્ધતિ	શ્રેષ્ઠ પ્રેક્ષકો	કિંમત	તે કેમ કામ કરે છે
સરળ અને સચોટ અંદાજ	જિજ્ઞાસુ વાચકો, વિદ્યાર્થીઓ	મફત	ઝડપી, સરળ, થોડું અસ્પષ્ટ - પણ રફ સરખામણીઓ માટે પૂરતું સારું
ડિવાઇસ-સાઇડ વોટ મીટર	એકલા બિલ્ડરો, શોખીનો	નીચું	વાસ્તવિક મશીન ડ્રોને માપે છે, જે તાજગીભર્યું કોંક્રિટ છે
GPU ટેલિમેટ્રી ડેશબોર્ડ	ઇજનેરો, એમએલ ટીમો	મધ્યમ	ગણતરી-ભારે કાર્યો પર વધુ સારી વિગતો, જોકે તે મોટી સુવિધા ઓવરહેડ ચૂકી શકે છે
ક્લાઉડ બિલિંગ + વપરાશ લોગ	સ્ટાર્ટઅપ્સ, ઑપ્સ ટીમો	મધ્યમથી ઉચ્ચ	AI ઉપયોગને વાસ્તવિક ખર્ચ સાથે જોડે છે - સંપૂર્ણ નથી, છતાં ખૂબ મૂલ્યવાન છે
ડેટા સેન્ટર ઊર્જા રિપોર્ટિંગ	એન્ટરપ્રાઇઝ ટીમો	ઉચ્ચ	અહીં વ્યાપક કાર્યકારી દૃશ્યતા, ઠંડક અને માળખાગત સુવિધાઓ દેખાવાનું શરૂ કરે છે
સંપૂર્ણ જીવનચક્ર મૂલ્યાંકન	સસ્ટેનેબિલિટી ટીમો, મોટી સંસ્થાઓ	ભારે, ક્યારેક પીડાદાયક	ગંભીર વિશ્લેષણ માટે શ્રેષ્ઠ કારણ કે તે ચિપથી આગળ વધે છે... પરંતુ તે ધીમું અને થોડું જાનવર છે

કોઈ સંપૂર્ણ પદ્ધતિ નથી. તે થોડી નિરાશાજનક બાબત છે. પરંતુ મૂલ્યના સ્તરો હોય છે. અને સામાન્ય રીતે, કંઈક ઉપયોગી વસ્તુ સંપૂર્ણ કરતાં વધુ સારી હોય છે. (ગુગલ ક્લાઉડ)

સૌથી મોટું પરિબળ જાદુ નથી - તે ગણતરી અને હાર્ડવેર છે 🖥️🔥

જ્યારે લોકો AI ઉર્જાના ઉપયોગનું ચિત્રણ કરે છે, ત્યારે તેઓ ઘણીવાર મોડેલને જ વીજળીનો વપરાશ કરતી વસ્તુ તરીકે કલ્પના કરે છે. પરંતુ મોડેલ હાર્ડવેર પર ચાલતું સોફ્ટવેર લોજિક છે. હાર્ડવેર એ છે જ્યાં વીજળીનું બિલ દેખાય છે. (સ્ટ્રુબેલ એટ અલ., ગૂગલ ક્લાઉડ)

સૌથી મોટા ચલોમાં સામાન્ય રીતે શામેલ છે:

• GPU અથવા એક્સિલરેટર પ્રકાર

• કેટલી ચિપ્સનો ઉપયોગ થાય છે?

• તેઓ કેટલો સમય સક્રિય રહે છે

• મેમરી લોડ

• બેચનું કદ અને થ્રુપુટ

• સિસ્ટમ સારી રીતે ઑપ્ટિમાઇઝ કરેલી છે કે પછી ફક્ત બધું જ દબાણપૂર્વક ચલાવી રહી છે (ગુગલ ક્લાઉડ, ક્વોન્ટાઇઝેશન, બેચિંગ અને એલએલએમ ઉર્જા ઉપયોગમાં સર્વિંગ વ્યૂહરચના)

એક ખૂબ જ ઑપ્ટિમાઇઝ્ડ સિસ્ટમ ઓછી ઉર્જા સાથે વધુ કામ કરી શકે છે. એક ઢીલી સિસ્ટમ આત્મવિશ્વાસ સાથે વીજળીનો બગાડ કરી શકે છે. તમે જાણો છો કે તે કેવી રીતે છે - કેટલાક સેટઅપ રેસ કાર છે, કેટલાક શોપિંગ કાર્ટ છે જેમાં રોકેટ ડક્ટ-ટેપ કરેલા છે 🚀🛒

અને હા, મોડેલનું કદ મહત્વનું છે. મોટા મોડેલોને વધુ મેમરી અને વધુ ગણતરીની જરૂર પડે છે, ખાસ કરીને જ્યારે લાંબા આઉટપુટ જનરેટ કરવામાં આવે છે અથવા જટિલ તર્કનું સંચાલન કરવામાં આવે છે. પરંતુ કાર્યક્ષમતા યુક્તિઓ ચિત્ર બદલી શકે છે: (ગ્રીન AI, ક્વોન્ટાઇઝેશન, બેચિંગ અને LLM ઉર્જા ઉપયોગમાં સેવા આપવાની વ્યૂહરચના)

• પરિમાણીકરણ

• વધુ સારું રૂટીંગ

• નાના નિષ્ણાત મોડેલો

• કેશિંગ

• બેચિંગ

• સ્માર્ટ હાર્ડવેર શેડ્યુલિંગ (LLM ઉર્જા ઉપયોગમાં ક્વોન્ટાઇઝેશન, બેચિંગ અને સર્વિંગ વ્યૂહરચનાઓ)

તો પ્રશ્ન ફક્ત "મોડેલ કેટલું મોટું છે?" એ જ નથી, પણ "તેને કેટલી બુદ્ધિપૂર્વક ચલાવવામાં આવી રહ્યું છે?" એ પણ છે

તાલીમ વિરુદ્ધ અનુમાન - આ અલગ અલગ પ્રાણીઓ છે 🐘🐇

આ એ ભાગલા છે જે લગભગ દરેકને મૂંઝવણમાં મૂકે છે.

તાલીમ

તાલીમ એ છે જ્યારે કોઈ મોડેલ વિશાળ ડેટાસેટ્સમાંથી પેટર્ન શીખે છે. તેમાં ઘણા ચિપ્સ લાંબા સમય સુધી ચાલતા હોય છે, જેમાં વિશાળ જથ્થાના ડેટાને ચાવવું પડે છે. આ તબક્કો ઊર્જા-ભૂખ્યો હોય છે. ક્યારેક ખૂબ જ ખરાબ. (સ્ટ્રુબેલ અને અન્ય)

તાલીમ ઊર્જા આના પર આધાર રાખે છે:

• મોડેલનું કદ

• ડેટાસેટ કદ

• તાલીમ રનની સંખ્યા

• નિષ્ફળ પ્રયોગો

• ફાઇન-ટ્યુનિંગ પાસ

• હાર્ડવેર કાર્યક્ષમતા

• કુલિંગ ઓવરહેડ (સ્ટ્રુબેલ એટ અલ., ગુગલ રિસર્ચ)

અને અહીં તે ભાગ છે જે લોકો ઘણીવાર ચૂકી જાય છે - લોકો ઘણીવાર વાર્તાના અંતે, એક મોટી તાલીમ દોડની કલ્પના કરે છે. વ્યવહારમાં, વિકાસમાં પુનરાવર્તિત દોડ, ટ્યુનિંગ, ફરીથી તાલીમ, મૂલ્યાંકન અને મુખ્ય ઘટનાની આસપાસના બધા ગૂઢ પરંતુ ખર્ચાળ પુનરાવર્તનોનો સમાવેશ થઈ શકે છે. (સ્ટ્રુબેલ એટ અલ., ગ્રીન એઆઈ)

અનુમાન

અનુમાન એ વાસ્તવિક વપરાશકર્તા વિનંતીઓનો જવાબ આપતું મોડેલ છે. એક વિનંતી કદાચ બહુ મોટી ન લાગે. પરંતુ અનુમાન વારંવાર થાય છે. લાખો વખત. ક્યારેક અબજો વખત. (ગુગલ રિસર્ચ, ડીઓઇ)

અનુમાન ઊર્જા આની સાથે વધે છે:

• પ્રોમ્પ્ટ લંબાઈ

• આઉટપુટ લંબાઈ

• વપરાશકર્તાઓની સંખ્યા

• વિલંબતા જરૂરિયાતો

• મલ્ટિમોડલ સુવિધાઓ

• અપટાઇમ અપેક્ષાઓ

• સલામતી અને પ્રક્રિયા પછીના પગલાં ( LLM ઉર્જા ઉપયોગમાં Google ક્લાઉડ , ક્વોન્ટાઇઝેશન, બેચિંગ અને સર્વિંગ વ્યૂહરચના )

તો તાલીમ એ ભૂકંપ છે. અનુમાન એ ભરતી-ઓટ છે. એક નાટકીય છે, એક સતત છે, અને બંને કિનારાને થોડો આકાર આપી શકે છે. તે એક અસામાન્ય રૂપક છે, કદાચ, પરંતુ તે એકસાથે રહે છે... વધુ કે ઓછું.

છુપાયેલી ઉર્જાનો ખર્ચ લોકો ભૂલી જાય છે 😬

જ્યારે કોઈ વ્યક્તિ ફક્ત ચિપ જોઈને AI પાવર વપરાશનો અંદાજ લગાવે છે, ત્યારે તે સામાન્ય રીતે ઓછો અંદાજ લગાવે છે. હંમેશા વિનાશક રીતે નહીં, પરંતુ તે મહત્વનું છે. (ગુગલ ક્લાઉડ, IEA)

અહીં છુપાયેલા ટુકડાઓ છે:

ઠંડક ❄️

સર્વર્સ ગરમી ઉત્પન્ન કરે છે. શક્તિશાળી AI હાર્ડવેર તેમાંથી ઘણું ઉત્પન્ન કરે છે. ઠંડક વૈકલ્પિક નથી. ગણતરી દ્વારા વપરાતો દરેક વોટ તાપમાનને સામાન્ય રાખવા માટે વધુ ઉર્જાનો ઉપયોગ કરે છે. (IEA, Google Cloud)

ડેટા મૂવમેન્ટ 🌐

સ્ટોરેજ, મેમરી અને નેટવર્ક્સમાં ડેટા ખસેડવા માટે પણ ઊર્જાની જરૂર પડે છે. AI ફક્ત "વિચાર" નથી કરતું. તે સતત માહિતીને બદલી પણ રહ્યું છે. (IEA)

નિષ્ક્રિય ક્ષમતા 💤

ટોચની માંગ માટે બનાવવામાં આવેલી સિસ્ટમો હંમેશા ટોચની માંગ પર ચાલતી નથી. નિષ્ક્રિય અથવા ઓછો ઉપયોગ થતો ઇન્ફ્રાસ્ટ્રક્ચર હજુ પણ વીજળી વાપરે છે. (ગુગલ ક્લાઉડ)

નિરર્થકતા અને વિશ્વસનીયતા 🧱

બેકઅપ્સ, ફેઇલઓવર સિસ્ટમ્સ, ડુપ્લિકેટ પ્રદેશો, સલામતી સ્તરો - બધું જ મૂલ્યવાન છે, મોટા ઊર્જા ચિત્રનો ભાગ છે. (IEA)

સંગ્રહ 📦

તાલીમ ડેટા, એમ્બેડિંગ્સ, લોગ્સ, ચેકપોઇન્ટ્સ, જનરેટ થયેલા આઉટપુટ - આ બધા ક્યાંક રહે છે. સ્ટોરેજ કમ્પ્યુટ કરતા સસ્તું છે, ખાતરી કરો, પરંતુ ઊર્જાની દ્રષ્ટિએ મફત નથી. (IEA)

આ જ કારણ છે કે AI કેટલી ઉર્જા વાપરે છે? તેનો જવાબ એક જ બેન્ચમાર્ક ચાર્ટ જોઈને સારી રીતે આપી શકાતો નથી. સંપૂર્ણ સ્ટેક મહત્વપૂર્ણ છે. (ગુગલ ક્લાઉડ, IEA)

શા માટે એક AI પ્રોમ્પ્ટ નાનો હોઈ શકે છે - અને બીજો એક રાક્ષસ બની શકે છે 📝➡️🎬

બધા પ્રોમ્પ્ટ સમાન રીતે બનાવવામાં આવતા નથી. વાક્ય ફરીથી લખવા માટે ટૂંકી વિનંતી લાંબા વિશ્લેષણ, મલ્ટી-સ્ટેપ કોડિંગ સત્ર અથવા ઉચ્ચ-રિઝોલ્યુશન છબી જનરેશન માટે પૂછવા સાથે તુલનાત્મક નથી. (ગુગલ ક્લાઉડ)

ક્રિયાપ્રતિક્રિયા દીઠ ઊર્જા વપરાશમાં વધારો કરતી બાબતો:

• લાંબી સંદર્ભ વિંડોઝ

• લાંબા પ્રતિભાવો

• સાધનનો ઉપયોગ અને પુનઃપ્રાપ્તિ પગલાં

• તર્ક અથવા માન્યતા માટે બહુવિધ પાસ

• છબી, ઑડિઓ અથવા વિડિઓ જનરેશન

• ઉચ્ચ સહવર્તીતા

• લોઅર લેટન્સી ટાર્ગેટ ( LLM ઉર્જા ઉપયોગમાં ગૂગલ ક્લાઉડ , ક્વોન્ટાઇઝેશન, બેચિંગ અને સર્વિંગ સ્ટ્રેટેજીસ )

હળવા વજનનો ટેક્સ્ટ જવાબ પ્રમાણમાં સસ્તો હોઈ શકે છે. એક વિશાળ મલ્ટિમોડલ વર્કફ્લો, સારું, સસ્તો ન પણ હોઈ શકે. તે લગ્નમાં કેટરિંગ કરવા સામે કોફી ઓર્ડર કરવા જેવું છે. તકનીકી રીતે બંનેને "ફૂડ સર્વિસ" તરીકે ગણવામાં આવે છે. એક બીજા જેવો નથી ☕🎉

આ ખાસ કરીને પ્રોડક્ટ ટીમો માટે મહત્વપૂર્ણ છે. ઓછા વપરાશમાં હાનિકારક લાગતી સુવિધા, જો દરેક વપરાશકર્તા સત્ર લાંબુ, સમૃદ્ધ અને વધુ ગણતરી-ભારે બને તો તે મોટા પાયે મોંઘી બની શકે છે. (DOE, Google Cloud)

કન્ઝ્યુમર એઆઈ અને એન્ટરપ્રાઇઝ એઆઈ એક જ વસ્તુ નથી 🏢📱

સામાન્ય રીતે AI નો ઉપયોગ કરતી વ્યક્તિ કદાચ ધારી લેશે કે તેમના પ્રસંગોપાત સંકેતો જ મોટી સમસ્યા છે. સામાન્ય રીતે, મુખ્ય ઉર્જા વાર્તા ત્યાં રહેતી નથી. (ગુગલ ક્લાઉડ)

એન્ટરપ્રાઇઝ ઉપયોગ ગણિતમાં ફેરફાર કરે છે:

• હજારો કર્મચારીઓ

• હંમેશા ચાલુ રહેલા કો-પાયલોટ

• સ્વચાલિત દસ્તાવેજ પ્રક્રિયા

• કોલ સારાંશ

• છબી વિશ્લેષણ

• કોડ સમીક્ષા સાધનો

• બેકગ્રાઉન્ડ એજન્ટો સતત ચાલી રહ્યા છે

ત્યાંથી જ કુલ ઉર્જાનો ઉપયોગ ખૂબ મહત્વનો બનવા લાગે છે. દરેક ક્રિયા સાક્ષાત્કાર છે એટલા માટે નહીં, પરંતુ પુનરાવર્તન ગુણક છે એટલા માટે. (DOE, IEA)

મારી પોતાની પરીક્ષણ અને વર્કફ્લો સમીક્ષાઓમાં, લોકો આ વાત પર આશ્ચર્યચકિત થાય છે. તેઓ મોડેલ નામ અથવા આકર્ષક ડેમો પર ધ્યાન કેન્દ્રિત કરે છે, અને વોલ્યુમને અવગણે છે. વોલ્યુમ ઘણીવાર વાસ્તવિક ડ્રાઇવર હોય છે - અથવા બચતની કૃપા, તમે ગ્રાહકોને બિલિંગ કરી રહ્યા છો કે ઉપયોગિતા ટેબ ચૂકવી રહ્યા છો તેના પર આધાર રાખે છે 😅

ગ્રાહકો માટે, અસર અમૂર્ત લાગે છે. વ્યવસાયો માટે, તે ખૂબ જ ઝડપથી નક્કર બની જાય છે:

• મોટા માળખાકીય બિલો

• ઑપ્ટિમાઇઝ કરવા માટે વધુ દબાણ

• શક્ય હોય ત્યાં નાના મોડેલોની વધુ માંગ

• આંતરિક ટકાઉપણું રિપોર્ટિંગ

• કેશીંગ અને રૂટીંગ પર વધુ ધ્યાન (ગુગલ ક્લાઉડ, ગ્રીન એઆઈ)

AI છોડ્યા વિના AI ઉર્જાનો ઉપયોગ કેવી રીતે ઘટાડવો 🌱

આ ભાગ મહત્વપૂર્ણ છે કારણ કે ધ્યેય "AI નો ઉપયોગ બંધ કરવો" નથી. સામાન્ય રીતે તે વાસ્તવિક નથી, અને જરૂરી પણ નથી. વધુ સારો ઉપયોગ એ સ્માર્ટ રસ્તો છે.

અહીં સૌથી મોટા લિવર છે:

૧. કામ પૂર્ણ કરતા નાના મોડેલનો ઉપયોગ કરો

દરેક કાર્યને ભારે વિકલ્પની જરૂર હોતી નથી. વર્ગીકરણ અથવા સારાંશ માટે હળવા મોડેલથી કચરો ઝડપથી ઘટાડી શકાય છે. (ગ્રીન એઆઈ, ગૂગલ ક્લાઉડ)

2. પ્રોમ્પ્ટ અને આઉટપુટ ટૂંકા કરો

શબ્દશઃ અંદર, શબ્દશઃ બહાર. વધારાના ટોકન્સનો અર્થ વધારાની ગણતરી થાય છે. ક્યારેક પ્રોમ્પ્ટને ટ્રિમ કરવો એ સૌથી સરળ જીત છે. (LLM ઉર્જા ઉપયોગમાં ક્વોન્ટાઇઝેશન, બેચિંગ અને સર્વિંગ વ્યૂહરચના, ગૂગલ ક્લાઉડ)

3. પુનરાવર્તિત પરિણામો કેશ કરો

જો એ જ ક્વેરી વારંવાર દેખાતી રહે, તો તેને દર વખતે ફરીથી બનાવશો નહીં. આ લગભગ અપમાનજનક રીતે સ્પષ્ટ છે, છતાં તે ચૂકી જાય છે. (ગુગલ ક્લાઉડ)

૪. શક્ય હોય ત્યારે બેચ જોબ્સ

બેચમાં કાર્યો ચલાવવાથી ઉપયોગ સુધારી શકાય છે અને કચરો ઘટાડી શકાય છે. (LLM ઉર્જા ઉપયોગમાં ક્વોન્ટાઇઝેશન, બેચિંગ અને સર્વિંગ વ્યૂહરચના)

૫. કાર્યોને બુદ્ધિપૂર્વક કરો

જ્યારે આત્મવિશ્વાસ ઓછો થાય અથવા કાર્ય જટિલતા વધે ત્યારે જ મોટા મોડેલનો ઉપયોગ કરો. (ગ્રીન એઆઈ, ગૂગલ ક્લાઉડ)

6. ઈન્ફ્રાસ્ટ્રક્ચર ઑપ્ટિમાઇઝ કરો

બહેતર સમયપત્રક, બહેતર હાર્ડવેર, બહેતર ઠંડક વ્યૂહરચના - વ્યંગાત્મક વાતો, મોટી કમાણી. (ગુગલ ક્લાઉડ, ડીઓઇ)

૭. ધારતા પહેલા માપો

ઘણી ટીમો વિચારે છે કે તેઓ જાણે છે કે શક્તિ ક્યાં જઈ રહી છે. પછી તેઓ માપે છે, અને તે ત્યાં છે - ખર્ચાળ ભાગ બીજે ક્યાંક રહે છે. (ગુગલ ક્લાઉડ)

કાર્યક્ષમતાનું કાર્ય આકર્ષક નથી. તેને ભાગ્યે જ પ્રશંસા મળે છે. પરંતુ તે AI ને વધુ સસ્તું અને વધુ સુરક્ષિત બનાવવાની શ્રેષ્ઠ રીતોમાંની એક છે 👍

AI વીજળીના ઉપયોગ વિશે સામાન્ય માન્યતાઓ 🚫

ચાલો કેટલીક દંતકથાઓ દૂર કરીએ કારણ કે આ વિષય ઝડપથી ગૂંચવાઈ જાય છે.

માન્યતા ૧ - દરેક AI ક્વેરી ખૂબ જ નકામી છે

જરૂરી નથી. કેટલાક સામાન્ય હોય છે. સ્કેલ અને કાર્ય પ્રકાર ખૂબ મહત્વ ધરાવે છે. (ગુગલ ક્લાઉડ)

માન્યતા ૨ - તાલીમ જ એકમાત્ર મહત્વની બાબત છે

ના. જ્યારે ઉપયોગ ખૂબ મોટો હોય ત્યારે સમય જતાં અનુમાન પ્રભુત્વ મેળવી શકે છે. (ગુગલ રિસર્ચ, ડીઓઇ)

માન્યતા ૩ - મોટા મોડેલનો અર્થ હંમેશા સારું પરિણામ થાય છે

ક્યારેક હા, ક્યારેક બિલકુલ નહીં. નાની સિસ્ટમો સાથે ઘણા બધા કાર્યો સારી રીતે થાય છે. (ગ્રીન એઆઈ)

માન્યતા ૪ - ઉર્જાનો ઉપયોગ કાર્બન અસરને આપમેળે સમાન બનાવે છે

બરાબર નથી. કાર્બન ઉર્જા સ્ત્રોત પર પણ આધાર રાખે છે. (IEA, Strubell et al.)

માન્યતા ૫ - તમે AI ઉર્જા ઉપયોગ માટે એક સાર્વત્રિક નંબર મેળવી શકો છો

તમે એવું ન કરી શકો, ઓછામાં ઓછું એવા સ્વરૂપમાં નહીં જે અર્થપૂર્ણ રહે. અથવા તમે કરી શકો છો, પરંતુ તે એટલું સરેરાશ હશે કે તે મૂલ્યવાન રહેવાનું બંધ કરી દેશે. (IEA)

એટલા માટે AI કેટલી ઉર્જા વાપરે છે? બુદ્ધિશાળી છે - પણ જો તમે સૂત્રને બદલે સ્તરીય જવાબ માટે તૈયાર હોવ તો જ.

તો... ખરેખર, AI કેટલી ઊર્જા વાપરે છે? 🤔

અહીં મૂળ નિષ્કર્ષ છે.

AI ઉપયોગ કરે છે:

• થોડું, કેટલાક સરળ કાર્યો માટે

• ભારે મલ્ટિમોડલ જનરેશન માટે ઘણું બધું

• મોટા પાયે મોડેલ તાલીમ માટે ખૂબ મોટી રકમ

• સમય જતાં લાખો વિનંતીઓનો ઢગલો થાય છે ત્યારે કુલ મળીને એક મોટી રકમ ( ગુગલ ક્લાઉડ , ડીઓઇ )

એનો આકાર એવો છે.

મુખ્ય વાત એ છે કે આખા મુદ્દાને એક ડરામણી સંખ્યા અથવા એક જ ઉપહાસમાં સપાટ ન કરવો. AI ઉર્જાનો ઉપયોગ વાસ્તવિક છે. તે મહત્વનું છે. તેમાં સુધારો કરી શકાય છે. અને તેના વિશે વાત કરવાનો શ્રેષ્ઠ રસ્તો સંદર્ભ સાથે છે, નાટક સાથે નહીં. (IEA, ગ્રીન AI)

ઘણી બધી જાહેર વાતચીત ચરમસીમાઓ વચ્ચે ફરતી રહે છે - એક તરફ "AI મૂળભૂત રીતે મુક્ત છે", બીજી તરફ "AI એક વિદ્યુત સર્વનાશ છે". વાસ્તવિકતા વધુ સામાન્ય છે, જે તેને વધુ માહિતીપ્રદ બનાવે છે. તે સિસ્ટમની સમસ્યા છે. હાર્ડવેર, સોફ્ટવેર, ઉપયોગ, સ્કેલ, કૂલિંગ, ડિઝાઇન પસંદગીઓ. પ્રોસેઇક? થોડું. મહત્વપૂર્ણ? ખૂબ. (IEA, Google Cloud)

મુખ્ય બાબતો ⚡🧾

જો તમે અહીં પૂછવા આવ્યા છો કે, AI કેટલી ઉર્જા વાપરે છે?,તો અહીં તેનો ઉપાય છે:

• બધા માટે એક જ નંબર નથી

• તાલીમ સામાન્ય રીતે શરૂઆતમાં સૌથી વધુ ઊર્જા વાપરે છે

• અનુમાન સ્કેલ પર એક મુખ્ય પરિબળ બને છે

• મોડેલનું કદ, હાર્ડવેર, વર્કલોડ અને કૂલિંગ બધું જ મહત્વનું છે

• નાના ઑપ્ટિમાઇઝેશન આશ્ચર્યજનક રીતે મોટો ફરક લાવી શકે છે

• સૌથી હોંશિયાર પ્રશ્ન ફક્ત "કેટલું" નથી, પણ "કયા કાર્ય માટે, કઈ સિસ્ટમ પર, કયા સ્કેલ પર?" (IEA, ગુગલ ક્લાઉડ) નો

તો હા, AI વાસ્તવિક ઉર્જાનો ઉપયોગ કરે છે. ધ્યાન આપવા યોગ્ય છે. વધુ સારી એન્જિનિયરિંગને યોગ્ય ઠેરવવા માટે પૂરતું છે. પણ કાર્ટૂનિશ, એક-નંબરની રીતે નહીં.

વાસ્તવિક દુનિયાનું ઉદાહરણ: AI સપોર્ટ આસિસ્ટન્ટના ઉર્જા ખર્ચનું માપન

દૃશ્ય

કલ્પના કરો કે એક નાની SaaS કંપની ગ્રાહક સપોર્ટ ટિકિટના જવાબો તૈયાર કરવા માટે AI સહાયકનો ઉપયોગ કરે છે. આ એક કાલ્પનિક પણ વાસ્તવિક ઉદાહરણ છે, કંપનીનો કેસ સ્ટડી નહીં.

આ ટીમ દર અઠવાડિયે લગભગ 500 સપોર્ટ ટિકિટનું સંચાલન કરે છે. મોટાભાગની ટિકિટો સીધી હોય છે: પાસવર્ડ રીસેટ, બિલિંગ પ્રશ્નો, સુવિધા સમજૂતી અને મૂળભૂત મુશ્કેલીનિવારણ. કંપની નથી ઇચ્છતી કે સહાયક આપમેળે જવાબો મોકલે. તે માનવ સપોર્ટ એજન્ટની સમીક્ષા માટે જવાબો તૈયાર કરે છે.

ઉર્જાનો પ્રશ્ન એ નથી કે, "એઆઈ સામાન્ય રીતે કેટલો ઉપયોગ કરે છે?" તે વધુ વ્યવહારુ છે:

"આ વર્કફ્લોમાં AI ઉમેરીને આપણે કેટલું વધારાનું કમ્પ્યુટ બનાવી રહ્યા છીએ, અને શું આપણે ગુણવત્તાને નુકસાન પહોંચાડ્યા વિના તેને ઘટાડી શકીએ છીએ?"

સહાયકને શું જોઈએ છે

ટીમ આનાથી શરૂઆત કરશે:

સ્વચ્છ સહાય-કેન્દ્ર જ્ઞાન આધાર

મંજૂર રિફંડ, ગોપનીયતા અને એસ્કેલેશન નિયમોની સૂચિ

ભૂતકાળના મજબૂત સમર્થન જવાબોના 20-30 ઉદાહરણો

એક સ્પષ્ટ સૂચના કે સહાયકે ડ્રાફ્ટ બનાવવો જોઈએ, મોકલવો નહીં

ક્લાઉડ વપરાશ લોગ અથવા મોડેલ API ઉપયોગ લોગ

ટિકિટનો પ્રકાર, પ્રોમ્પ્ટ લંબાઈ, આઉટપુટ લંબાઈ, સમીક્ષા સમય અને જવાબ સ્વીકારવામાં આવ્યો હતો કે નહીં તે ટ્રેક કરવા માટે એક સરળ સ્પ્રેડશીટ

મહત્વપૂર્ણ બાબત માપન છે. લોગ વિના, ટીમ ફક્ત અનુમાન લગાવી રહી છે.

ઉદાહરણ સૂચના

તમે SaaS પ્રોડક્ટ માટે સપોર્ટ ડ્રાફ્ટિંગ આસિસ્ટન્ટ છો. ફક્ત મંજૂર સહાય-કેન્દ્ર સામગ્રી અને નીતિ નોંધોનો ઉપયોગ કરો. 180 શબ્દોથી ઓછા શબ્દોમાં સ્પષ્ટ, નમ્ર જવાબ તૈયાર કરો. જો ગ્રાહક રિફંડ, એકાઉન્ટ કાઢી નાખવા, કાનૂની સલાહ, સુરક્ષા વિગતો અથવા દસ્તાવેજોમાં આવરી લેવામાં ન આવતી કોઈપણ વસ્તુ માટે પૂછે છે, તો સીધો જવાબ આપશો નહીં. માનવ સમીક્ષા માટે તેને ચિહ્નિત કરો અને સમજાવો કે કઈ માહિતી ખૂટે છે.

જવાબ લખતા પહેલા, ટિકિટને આ રીતે વર્ગીકૃત કરો: સરળ, નીતિ-સંવેદનશીલ, તકનીકી, અથવા જરૂરી વધારો.

તેનું પરીક્ષણ કેવી રીતે કરવું

ટીમ લાઈવ ઉપયોગ કરતા પહેલા 50 ભૂતકાળની ટિકિટો પર સહાયકનું પરીક્ષણ કરી શકે છે.

એક સરળ પરીક્ષણ સમૂહમાં શામેલ હોઈ શકે છે:

૧૦ પાસવર્ડ અથવા લોગિન ટિકિટ

૧૦ બિલિંગ ટિકિટ

10 ટેકનિકલ મુશ્કેલીનિવારણ ટિકિટો

૧૦ અસ્પષ્ટ અથવા અધૂરા ગ્રાહક સંદેશાઓ

રિફંડ, ગોપનીયતા અથવા ખાતું બંધ કરવા સંબંધિત 10 નીતિ-સંવેદનશીલ ટિકિટો

દરેક ટિકિટ માટે, ટીમે રેકોર્ડ કરવું જોઈએ:

શું ડ્રાફ્ટ વાસ્તવિક રીતે સાચો હતો?

શું તેમાં ફક્ત માન્ય માહિતીનો ઉપયોગ કરવામાં આવ્યો હતો?

શું તે શબ્દ મર્યાદામાં રહ્યું?

શું તેણે સંવેદનશીલ કેસોને યોગ્ય રીતે ચિહ્નિત કર્યા?

માનવ એજન્ટે તેને સંપાદિત કરવામાં કેટલો સમય પસાર કર્યો?

વર્કફ્લોમાં કેટલા ટોકન્સ અથવા વિનંતીઓનો ઉપયોગ થયો?

આનાથી ટીમને અનુમાન પર આધાર રાખવાને બદલે સરખામણી કરવા માટે કંઈક નક્કર મળે છે.

પરિણામ

ઉદાહરણરૂપ પરિણામ: વર્કફ્લોનો ઉપયોગ કરતા પહેલા અને પછી 50 નમૂના ટિકિટોના સમયના આધારે, ટીમનો અંદાજ છે કે સરેરાશ પ્રથમ-ડ્રાફ્ટ સમય પ્રતિ ટિકિટ 6 મિનિટથી ઘટીને 2 મિનિટ થઈ જાય છે.

દર અઠવાડિયે 500 ટિકિટ માટે, તે લગભગ 2,000 મિનિટ અથવા લગભગ 33 કલાકનો ડ્રાફ્ટિંગ સમય બચાવે છે.

પરંતુ લોગ કંઈક મૂલ્યવાન પણ દર્શાવે છે: 38% ટિકિટો સરળ પુનરાવર્તનો છે. દરેક ડ્રાફ્ટને શરૂઆતથી ફરીથી ઉત્પન્ન કરવાને બદલે આ પુનરાવર્તિત પ્રશ્નો માટે માન્ય જવાબોને કેશ કરીને, ટીમ AI વિનંતીઓને અઠવાડિયામાં 500 થી ઘટાડીને અઠવાડિયામાં 310 કરે છે.

આ વર્કફ્લો માટે સાપ્તાહિક અનુમાન કોલ્સમાં 38% ઘટાડો છે, જેમાં AI સુવિધા દૂર કરવામાં આવી નથી.

ટીમ આની તુલના કરીને આ ચકાસી શકે છે:

કેશીંગ પહેલાં અને પછી કુલ સાપ્તાહિક AI વિનંતીઓ

સરેરાશ પ્રોમ્પ્ટ અને આઉટપુટ લંબાઈ

માનવ સ્વીકૃતિ દર

યોગ્ય રીતે પકડાયેલા એસ્કેલેશનની સંખ્યા

ગુણવત્તા સ્કોર્સ અથવા પુનરાવર્તન ગણતરીઓને સપોર્ટ કરો

ચોક્કસ વીજળી બચત હજુ પણ મોડેલ, હાર્ડવેર, પ્રદાતા અને માળખાગત સુવિધાઓ પર આધાર રાખે છે. પરંતુ કાર્યભારમાં ઘટાડો પોતે જ માપી શકાય છે.

શું ખોટું થઈ શકે છે?

જો એસ્કેલેશન નિયમો અસ્પષ્ટ હોય તો સહાયક નીતિ પ્રશ્નોના વધુ પડતા જવાબ આપી શકે છે.

જો પુનઃપ્રાપ્તિ સેટઅપ નબળી રીતે રચાયેલ હોય તો લાંબા સહાય-કેન્દ્ર દસ્તાવેજો પ્રોમ્પ્ટ લંબાઈને વધારી શકે છે.

એજન્ટો સરળતાથી સમજાતા ડ્રાફ્ટ પર ખૂબ જ ઝડપથી વિશ્વાસ કરી શકે છે અને સૂક્ષ્મ ભૂલો ચૂકી શકે છે.

જો જૂની રિફંડ, કિંમત નિર્ધારણ અથવા ગોપનીયતા નીતિઓ ચલણમાં રહે તો કેશીંગ જોખમી બની શકે છે.

ટીમ ઓછા ટોકન્સ માટે ઑપ્ટિમાઇઝ કરી શકે છે જ્યારે આકસ્મિક રીતે ઓછા મદદરૂપ જવાબો ઉત્પન્ન કરી શકે છે.

સૌથી સુરક્ષિત સંસ્કરણ મનુષ્યોને લૂપમાં રાખે છે, સ્વીકૃત જવાબોને માપે છે અને જ્યારે પણ નીતિઓ બદલાય છે ત્યારે કેશ્ડ પ્રતિભાવોની સમીક્ષા કરે છે.

વ્યવહારુ ઉપાય

એક મજબૂત AI ઊર્જા અંદાજ એક નક્કર કાર્યપ્રવાહથી શરૂ થાય છે. વિનંતીઓની ગણતરી કરો, પ્રોમ્પ્ટ ટૂંકા કરો, વારંવાર જવાબો કેશ કરો અને સમીક્ષા ગુણવત્તા માપો. તે "AI કેટલી ઊર્જા વાપરે છે?" ને એક અસ્પષ્ટ ચર્ચામાંથી વ્યવહારુ એન્જિનિયરિંગ પ્રશ્નમાં ફેરવે છે જેમાં ટીમ વ્યવહારમાં સુધારો કરી શકે છે.

વારંવાર પૂછાતા પ્રશ્નો

એક જ પ્રોમ્પ્ટ માટે AI કેટલી ઊર્જા વાપરે છે?

એક જ પ્રોમ્પ્ટ માટે કોઈ સાર્વત્રિક સંખ્યા નથી, કારણ કે ઉર્જાનો ઉપયોગ મોડેલ, હાર્ડવેર, પ્રોમ્પ્ટની લંબાઈ, આઉટપુટની લંબાઈ અને કોઈપણ વધારાના સાધનના ઉપયોગ પર આધાર રાખે છે. ટૂંકા ટેક્સ્ટ પ્રતિભાવ પ્રમાણમાં સામાન્ય હોઈ શકે છે, જ્યારે લાંબા મલ્ટિમોડલ કાર્યમાં નોંધપાત્ર રીતે વધુ ખર્ચ થઈ શકે છે. સૌથી અર્થપૂર્ણ જવાબ એક પણ હેડલાઇન આકૃતિ નથી, પરંતુ કાર્યની આસપાસનો સંદર્ભ છે.

AI પાવર વપરાશના અંદાજો આટલા બધા અલગ અલગ કેમ છે?

અંદાજો બદલાય છે કારણ કે લોકો ઘણીવાર AI ના એક જ લેબલ હેઠળ ખૂબ જ અલગ વસ્તુઓની તુલના કરે છે. એક અંદાજ હળવા ચેટબોટ જવાબનું વર્ણન કરી શકે છે, જ્યારે બીજો ઇમેજ જનરેશન, વિડિઓ અથવા મોટા પાયે મોડેલ તાલીમને આવરી શકે છે. અંદાજને અર્થપૂર્ણ બનાવવા માટે, તેને કાર્ય પ્રકાર, મોડેલ કદ, હાર્ડવેર, ઉપયોગ, ઠંડક અને સ્થાન જેવા સંદર્ભની જરૂર છે.

શું AI ને તાલીમ આપવી કે AI ને રોજબરોજ ચલાવવાથી ઉર્જાનો ખર્ચ વધારે થાય છે?

તાલીમ એ સામાન્ય રીતે મોટી ઉર્જા ઘટના છે, કારણ કે તેમાં વિશાળ ડેટાસેટ્સમાં લાંબા સમય સુધી ચાલતી ઘણી ચિપ્સનો સમાવેશ થઈ શકે છે. અનુમાન એ ચાલુ ખર્ચ છે જે દરેક વખતે વપરાશકર્તાઓ વિનંતીઓ મોકલે છે ત્યારે દેખાય છે, અને સ્કેલ પર તે ખૂબ મોટો પણ બની શકે છે. વ્યવહારમાં, બંને મહત્વપૂર્ણ છે, જોકે તેઓ અલગ અલગ રીતે મહત્વપૂર્ણ છે.

એક AI વિનંતી બીજા કરતા વધુ ઊર્જા-સઘન કેમ બનાવે છે?

લાંબી સંદર્ભ વિંડોઝ, લાંબી આઉટપુટ, પુનરાવર્તિત તર્ક પાસ, ટૂલ કોલ્સ, પુનઃપ્રાપ્તિ પગલાં અને મલ્ટિમોડલ જનરેશન - આ બધું દરેક ક્રિયાપ્રતિક્રિયા દીઠ ઊર્જા વપરાશમાં વધારો કરે છે. લેટન્સી લક્ષ્યો પણ મહત્વપૂર્ણ છે, કારણ કે ઝડપી પ્રતિભાવ આવશ્યકતાઓ કાર્યક્ષમતા ઘટાડી શકે છે. એક નાની પુનઃલેખન વિનંતી અને લાંબી કોડિંગ અથવા છબી વર્કફ્લો તુલનાત્મક નથી.

જ્યારે લોકો પૂછે છે કે AI કેટલી ઉર્જા વાપરે છે ત્યારે તેઓ કયા છુપાયેલા ઉર્જા ખર્ચ ચૂકી જાય છે?

ઘણા લોકો ફક્ત ચિપ પર ધ્યાન કેન્દ્રિત કરે છે, પરંતુ તે ઠંડક, ડેટા મૂવમેન્ટ, સ્ટોરેજ, નિષ્ક્રિય ક્ષમતા અને બેકઅપ અથવા ફેલઓવર પ્રદેશો જેવી વિશ્વસનીયતા સિસ્ટમોને અવગણે છે. આ સહાયક સ્તરો કુલ ફૂટપ્રિન્ટને ભૌતિક રીતે બદલી શકે છે. તેથી જ એક બેન્ચમાર્ક ભાગ્યે જ સંપૂર્ણ ઊર્જા ચિત્ર કેપ્ચર કરે છે.

શું મોટા AI મોડેલ હંમેશા વધુ ઊર્જા વાપરે છે?

મોટા મોડેલોને સામાન્ય રીતે વધુ ગણતરી અને મેમરીની જરૂર પડે છે, ખાસ કરીને લાંબા અથવા જટિલ આઉટપુટ માટે, તેથી તેઓ ઘણીવાર વધુ ઊર્જા વાપરે છે. પરંતુ મોટાનો અર્થ દરેક કાર્ય માટે આપમેળે વધુ સારો થતો નથી, અને ઑપ્ટિમાઇઝેશન ચિત્રને નોંધપાત્ર રીતે બદલી શકે છે. નાના નિષ્ણાત મોડેલો, ક્વોન્ટાઇઝેશન, બેચિંગ, કેશિંગ અને સ્માર્ટ રૂટીંગ, આ બધું કાર્યક્ષમતામાં સુધારો કરી શકે છે.

શું ગ્રાહક AI મુખ્ય ઉર્જા સમસ્યા છે, કે પછી એન્ટરપ્રાઇઝ AI મોટી સમસ્યા છે?

સામાન્ય ગ્રાહક વપરાશમાં વધારો થઈ શકે છે, પરંતુ મોટાભાગે એન્ટરપ્રાઇઝ ડિપ્લોયમેન્ટમાં મોટી ઊર્જા વાર્તા દેખાય છે. હંમેશા ચાલુ કોપાયલોટ, દસ્તાવેજ પ્રક્રિયા, કોલ સારાંશ, કોડ સમીક્ષા અને પૃષ્ઠભૂમિ એજન્ટો મોટા વપરાશકર્તા આધારોમાં વારંવાર માંગ ઉભી કરે છે. મુદ્દો સામાન્ય રીતે એક નાટકીય ક્રિયા વિશે ઓછો અને સમય જતાં સતત વોલ્યુમ વિશે વધુ હોય છે.

ડેટા સેન્ટર અને કૂલિંગનો સમાવેશ કરતી વખતે AI કેટલી ઊર્જા વાપરે છે?

એકવાર વ્યાપક સિસ્ટમનો સમાવેશ થઈ જાય, પછી જવાબ વધુ વાસ્તવિક બને છે અને સામાન્ય રીતે ચિપ-માત્ર અંદાજો કરતાં મોટો હોય છે. ડેટા સેન્ટરોને માત્ર ગણતરી માટે જ નહીં, પરંતુ ઠંડક, નેટવર્કિંગ, સંગ્રહ અને વધારાની ક્ષમતા જાળવવા માટે પણ શક્તિની જરૂર હોય છે. એટલા માટે ઇન્ફ્રાસ્ટ્રક્ચર ડિઝાઇન અને સુવિધા કાર્યક્ષમતા મોડેલ ડિઝાઇન જેટલી જ મહત્વપૂર્ણ છે.

વાસ્તવિક કાર્યપ્રવાહમાં AI ઉર્જાના ઉપયોગને માપવાની સૌથી વ્યવહારુ રીત કઈ છે?

શ્રેષ્ઠ પદ્ધતિ કોણ માપી રહ્યું છે અને કયા હેતુ માટે છે તેના પર આધાર રાખે છે. એક કઠોર નિયમ ઝડપી સરખામણી કરવામાં મદદ કરી શકે છે, જ્યારે વોટ મીટર, GPU ટેલિમેટ્રી, ક્લાઉડ બિલિંગ લોગ અને ડેટા સેન્ટર રિપોર્ટિંગ ક્રમશઃ મજબૂત ઓપરેશનલ આંતરદૃષ્ટિ પ્રદાન કરે છે. ગંભીર ટકાઉપણું કાર્ય માટે, સંપૂર્ણ જીવનચક્ર દૃશ્ય હજુ પણ વધુ મજબૂત છે, જોકે તે ધીમું અને વધુ માંગણી કરતું હોય છે.

ઉપયોગી AI સુવિધાઓ છોડ્યા વિના ટીમો AI ઊર્જાનો ઉપયોગ કેવી રીતે ઘટાડી શકે છે?

સૌથી મોટા ફાયદા સામાન્ય રીતે નાના મોડેલનો ઉપયોગ કરવાથી થાય છે જે હજુ પણ કામ કરે છે, પ્રોમ્પ્ટ અને આઉટપુટ ટૂંકાવે છે, વારંવાર પરિણામોને કેશ કરે છે, બેચિંગ કરે છે અને ફક્ત મુશ્કેલ કાર્યોને મોટા મોડેલોમાં રૂટ કરે છે. ઇન્ફ્રાસ્ટ્રક્ચર ઑપ્ટિમાઇઝેશન પણ મહત્વપૂર્ણ છે, ખાસ કરીને શેડ્યૂલિંગ અને હાર્ડવેર કાર્યક્ષમતા. ઘણી પાઇપલાઇન્સમાં, પહેલા માપન કરવાથી ટીમોને ખોટી વસ્તુને ઑપ્ટિમાઇઝ કરવાથી અટકાવવામાં મદદ મળે છે.

સંદર્ભ

1. આંતરરાષ્ટ્રીય ઉર્જા એજન્સી (IEA) - AI તરફથી ઉર્જા માંગ - iea.org

2. યુએસ ડિપાર્ટમેન્ટ ઓફ એનર્જી (DOE) - DOE એ વીજળીની માંગમાં વધારોનું મૂલ્યાંકન કરતો નવો અહેવાલ પ્રકાશિત કર્યો ડેટા સેન્ટર્સ - energy.gov

3. ગૂગલ ક્લાઉડ - AI અનુમાનની પર્યાવરણીય અસરનું માપન - cloud.google.com

4. ગૂગલ રિસર્ચ - મશીન લર્નિંગ તાલીમના કાર્બન ફૂટપ્રિન્ટ વિશે સારા સમાચાર - research.google

5. ગુગલ રિસર્ચ - મશીન લર્નિંગ તાલીમનો કાર્બન ફૂટપ્રિન્ટ સ્તર નીચે આવશે અને પછી ઘટશે - research.google

6. arXiv - ગ્રીન AI - arxiv.org

7. arXiv - Strubell et al. - arxiv.org

8. arXiv - LLM ઉર્જા ઉપયોગમાં ક્વોન્ટાઇઝેશન, બેચિંગ અને સર્વિંગ વ્યૂહરચનાઓ - arxiv.org

અધિકૃત AI સહાયક સ્ટોર પર નવીનતમ AI શોધો

અમારા વિશે