એઆઈ ડેટા સેન્ટર શું છે? [વિડિઓ અને ક્વિઝ]

ટૂંકો જવાબ: AI ડેટા સેન્ટર એક ઉચ્ચ-ઘનતાવાળી સાઇટ છે જ્યાં પાવર, કૂલિંગ, ફેબ્રિક અને સ્ટોરેજ તાલીમ અને સેવા આપતા મોડેલોની આસપાસ હોય છે, વધારાના GPU સાથેના સર્વર રૂમની આસપાસ નહીં. ચિપ્સને ખ્યાતિ મળે છે; ઇમારત નક્કી કરે છે કે તેઓ કામ કરે છે કે નહીં. જો છબીઓ છોડી શકતી નથી, તો એક નાનો સેલ રિટ્રોફિટ કરો; મોટાભાગની ટીમોએ ભાડે લેવો જોઈએ.

મુખ્ય બાબતો:

ચિપ્સ વિરુદ્ધ બિલ્ડિંગ: પાવર, કૂલિંગ, ફેબ્રિક અને સ્ટોરેજ નક્કી કરે છે કે એક્સિલરેટર કામ કરે છે કે નહીં.

મહેલો નહીં, જગ્યાઓ: જ્યારે ડેટા છોડી ન શકાય ત્યારે બે રેકને રિટ્રોફિટ કરો; કેમ્પસ ખરીદશો નહીં.

સરેરાશ વિરુદ્ધ મધ્યક: આઠ રન પર, મધ્યક હાઇડ ફરી શરૂ થાય છે; 18-કલાકના સરેરાશનો ઉપયોગ કરો.

દુરુપયોગ પ્રતિકાર: મિશ્ર હોલમાં બે રેક્સ માટે PUE નો ઉલ્લેખ કરશો નહીં.

ઉદાહરણરૂપ પરિણામો: આઠ રન એક નાનો નકશો છે, 50% ઉત્પાદન બચત નહીં.

આ પછી તમને વાંચવા ગમશે તેવા લેખો:

🔗 શું AI વિશ્વસનીય છે? વિડિઓ અને ક્વિઝ
એક આકર્ષક વિડિઓ અને ઇન્ટરેક્ટિવ ક્વિઝ દ્વારા AI વિશ્વસનીયતાનું અન્વેષણ કરો.

🔗 રોજિંદા જીવનમાં AI નો ઉપયોગ કેવી રીતે કરવો
AI રોજિંદા કાર્યો અને દિનચર્યાઓને સરળ બનાવવાની વ્યવહારુ રીતો શોધો.

🔗 કામ પર AI નો ઉપયોગ કેવી રીતે કરવો.
કાર્યસ્થળ પર સ્માર્ટ ઉત્પાદકતા માટે AI નો ઉપયોગ કરવાની વ્યવહારુ રીતો શીખો.

🔗 શું AI પોતાના માટે વિચારી શકે છે?
સમજો કે કૃત્રિમ બુદ્ધિ ખરેખર સ્વતંત્ર રીતે વિચારી શકે છે કે તર્ક કરી શકે છે.

તે "સામાન્ય" ડેટા સેન્ટરથી કેવી રીતે અલગ પડે છે

પરંપરાગત હોલ ઘણી બધી નાની સેવાઓમાં મિશ્ર વર્કલોડ અને અપટાઇમ માટે ઑપ્ટિમાઇઝ કરે છે. ચોક્કસ, તમને રિડન્ડન્સીની ચિંતા છે, અને PUE એક ખ્યાલ તરીકે છે - બિલ્ડિંગ એક વોટ કમ્પ્યુટ પહોંચાડવા માટે વધારાની ઊર્જા વાપરે છે. તમે સામાન્ય રીતે દરેક કોરિડોરને રેકની આસપાસ ડિઝાઇન કરતા નથી જે પોર્ટેબલ હીટર ફાર્મ જેવું વર્તન કરે છે.

AI સાઇટ્સ ગુણોત્તરને બદલી નાખે છે. ઘનતા વધે છે. નેટવર્ક એક એવું ફેબ્રિક બની જાય છે જેના વગર તાલીમ કાર્ય ટકી શકતું નથી. સ્ટોરેજને ચેકપોઇન્ટ્સને ગતિશીલ રાખવા પડે છે અથવા એક્સિલરેટર ટ્રાફિક જામમાં રેસના ઘોડાઓની જેમ નિષ્ક્રિય રહે છે.

સાંસ્કૃતિક તફાવત પણ છે. એન્ટરપ્રાઇઝ ઓપ્સ ટિકિટ અને ચેન્જ વિન્ડોમાં વિચારે છે. AI ઓપ્સ નોકરીની કતારોમાં વિચારે છે અને લાંબા ગાળે જ્યારે નોડ મોડેથી મૃત્યુ પામે છે ત્યારે બીમાર લાગણી. મને લાગે છે કે તમે હજી પણ બંનેને "ડેટા સેન્ટર" કહી શકો છો કારણ કે તે છે. લેબલ ફક્ત પ્લમ્બિંગને છુપાવે છે.

નૈતિક રેન્કિંગ નથી. અલગ અલગ મશીનો, એક જ પરિવારનું નામ.

GPU, એક્સિલરેટર, અને રેક જે પાવર ખાઈ જાય છે

પરંપરાગત ઊંચા ફ્લોર પર ચાલો તો રેક્સ લગભગ નમ્ર લાગે છે. AI હરોળમાં ચાલો તો એવું લાગે છે કે તેઓ ઇમારતને ગળી જવા માંગે છે.

આ સ્ટેન્ડઆઉટ હાર્ડવેર કોઈ હોંશિયાર CPU નથી. તે એક્સિલરેટર ટ્રે છે: GPU અથવા અન્ય AI ચિપ્સ, સર્વર્સમાં પેક કરવામાં આવે છે, પછી રેક્સ, પછી પંક્તિઓ જે ઉચ્ચ-બેન્ડવિડ્થ ફેબ્રિક શેર કરે છે. GPU ઇન્ટરકનેક્ટ્સ ચિપ્સને એવી વસ્તુમાં જોડે છે જે એક વિશાળ એક્સિલરેટર હોવાનો ડોળ કરી શકે છે; ક્લસ્ટર ફેબ્રિક પંક્તિ સ્કેલ પર સમાન યુક્તિ કરે છે. સમાંતર તાલીમ ફક્ત ત્યારે જ કાર્ય કરે છે જો તે લિંક્સ જાડા અને અનુમાનિત રહે. તે ગુમાવો અને તમારું "ક્લસ્ટર" પોસ્ટકોડ શેર કરતા મોંઘા વર્કસ્ટેશનનો ઢગલો બની જાય છે.

વીજળી ચિપ્સને અનુસરે છે. ઓફિસનું મોટું PDU નહીં. હોલ ભરાઈ જાય પછી મેગાવોટ IT લોડ થાય છે - હું કોઈ સંખ્યા શોધીશ નહીં. રેક દીઠ ઘનતા એ પ્લોટ ટ્વિસ્ટ છે. ઓછા રેક્સ. દરેક એક નાનો ભઠ્ઠી છે. મર્યાદિત પરિબળ ઘણીવાર સબસ્ટેશન હોય છે, GPU ની વિશલિસ્ટ નહીં. તમે જાણો છો કે તે કેવી રીતે છે: પ્રાપ્તિને વધુ એક્સિલરેટર જોઈએ છે; ઉપયોગિતાને લાંબી વાતચીત અને ખૂબ મોટો ચેક જોઈએ છે.

એક સહેજ મૂર્ખ રૂપક જે હું હલાવી શકતો નથી: રેક એક ભૂખ્યું પ્રાણી છે. તમે વધુ ઝડપી પ્રાણીનું સંવર્ધન કરી શકો છો. તમારે હજુ પણ તેને ખવડાવવું પડશે, અને તમારે હજુ પણ ગરમીને દૂર કરવી પડશે. બંનેમાંથી કોઈ એક છોડી દો અને તે ખૂબ જ મોંઘુ પેપરવેઇટ બની જશે.

વીજળી, ગરમી અને ઠંડકની સમસ્યા

વીજળી આવી. ગરમી બંધ કરી. એ જ આખો ધર્મ છે.

ઉચ્ચ-ઘનતાવાળા રેક્સ ગરમીને એવી રીતે ફેંકી દે છે જે હવાને ક્યારેય નિયંત્રિત કરવાનું કહેવામાં આવ્યું ન હતું. તમે હવાને વધુ જોરથી ધકેલી શકો છો - પાછળના દરવાજાના હીટ એક્સ્ચેન્જર્સ, ગરમ પાંખો, ચતુરાઈથી નિયંત્રણ - અને તે એક હદ સુધી કામ કરે છે. પછી પ્રવાહી દેખાય છે:

• ડાયરેક્ટ-ટુ-ચિપ કૂલિંગ

• શીતક લૂપ્સ જે પ્લાન્ટ રૂમને રસાયણ જેવો બનાવે છે તે કામ કરે છે

• કેટલીક ડિઝાઇનમાં નિમજ્જન, જે હજુ પણ એવા લોકોને ચોંકાવી દે છે જેઓ વિચારે છે કે પાણી અને પીરસનારાઓએ એક વાક્ય શેર ન કરવું જોઈએ

આમાંનું કંઈ પણ આકર્ષક નથી. આ બધું જ ઉત્પાદન છે, કારણ કે એક એક્સિલરેટર જે થ્રોટલ કરે છે તે એક એવું એક્સિલરેટર છે જેના માટે તમે પહેલાથી જ ચૂકવણી કરી છે અને તેનો સંપૂર્ણ ઉપયોગ કરી શકતા નથી.

PUE હજુ પણ મહત્વનું છે. તે ગુણોત્તર છે, વ્યક્તિત્વ નથી. ઓપરેટરો તેનો પીછો કરે છે કારણ કે પંખા અને પંપ પર ખર્ચવામાં આવતો દરેક વોટ એ વોટ છે જે GPU માં ગયો નથી. હું કોઈ "સામાન્ય" આંકડો ટાંકશે નહીં; આબોહવા અને તમે સીમા કેવી રીતે દોરો છો તે તેને ખસેડે છે, અને નકલી ચોકસાઇ કોઈ કરતાં ખરાબ નથી. પાણી પણ વાર્તામાં રહે છે. કેટલાક છોડ ચૂસકી લે છે. કેટલાક ગળી જાય છે. બાષ્પીભવનકારી ઠંડક ત્યાં સુધી કાર્યક્ષમ છે જ્યાં સુધી નદી અથવા દુષ્કાળ તેને રાજકીય ન બનાવે.

નેટવર્કિંગ: શા માટે કાપડ ચિપ્સ જેટલું જ મહત્વનું છે

લોકો GPUs નો ફોટોગ્રાફ લે છે. તેમણે સ્વીચોનો ફોટોગ્રાફ લેવો જોઈએ.

તાલીમ એ એક વાતચીત છે. હજારો એક્સિલરેટર ગ્રેડિયન્ટ્સ, પરિમાણો, મોડેલના ટુકડાઓનું ચુસ્ત સુમેળમાં વિનિમય કરે છે. જો ફેબ્રિક ડગમગે છે, તો આખું કામ સૌથી ધીમા હોપ પર રાહ જુએ છે. એટલા માટે AI હોલ ઉચ્ચ-બેન્ડવિડ્થ નેટવર્કિંગ, ઓછી લેટન્સી અને ટોપોલોજીઓ પર ધ્યાન કેન્દ્રિત કરે છે જે લિંક નિષ્ફળ જાય ત્યારે અડધા ભાગમાં ફોલ્ડ થતા નથી. ઇન્ફિનીબેન્ડ-ઇશ ફેબ્રિક્સ, સમાન ભૂમિકામાં ઇથરનેટ, બોક્સની અંદર GPU ઇન્ટરકનેક્ટ્સ, કેબલિંગ જે પહેલી વાર યોગ્ય હોવું જોઈએ.

અનુમાન એક અલગ વાતચીત છે. મોડેલ સર્વિંગ ટેઇલ લેટન્સીની ચિંતા કરે છે - ધીમા જવાબની નહીં, સરેરાશ જવાબની. બેચ વિરુદ્ધ રીઅલ-ટાઇમ વ્યક્તિત્વને વિભાજિત કરે છે. તાલીમ ક્લસ્ટર ચરબીયુક્ત, સામૂહિક, બધા-થી-બધા-જેવા હિલચાલ. સેવા આપતો કાફલો લોડ બેલેન્સર પર ટ્રાફિક જામ વિના ઘણી નાની વિનંતીઓ અને અલગતા ઇચ્છે છે.

હું અહીં છું ત્યારે ભૂલ: લોકો નેટવર્કને પ્લમ્બિંગ અને ચીપ્સને રેસ્ટોરન્ટ માને છે. આ બિલ્ડિંગમાં પ્લમ્બિંગ એ રેસ્ટોરન્ટ છે. તેની ભૂલ થાય છે અને તમે એક એવું રસોડું ખરીદો છો જે ડિલિવરી લઈ શકતું નથી.

તાલીમ વિરુદ્ધ અનુમાન: બે ઇમારતો, ક્યારેક શાબ્દિક રીતે

તાલીમ એક ઝુંબેશ છે. તમે એક ક્લસ્ટર એસેમ્બલ કરો છો, તેને ડેટા આપો છો, ધાર્મિક રીતે ચેકપોઇન્ટ કરો છો, કલાકો કે અઠવાડિયા સુધી દોડો છો, અને પ્રાર્થના કરો છો કે ફેબ્રિક કોઈ પણ રીતે સ્થિર રહે. બેચ-ભારે, બેન્ડવિડ્થ-ભૂખ્યા, શાંતિથી ધીરજવાન - જ્યાં સુધી નિષ્ફળ નોડ દોડમાંથી બહાર ન આવે. ચુસ્ત રીતે જોડાયેલા કામમાં એક મૃત એક્સિલરેટર આખા કોરસને રોકી શકે છે.

અનુમાન એક દુકાનદારની વાત છે. મોડેલો પહેલાથી જ તાલીમ પામેલા છે, હવે પ્રશ્નોના જવાબ આપી રહ્યા છે, છબીઓનું વર્ગીકરણ કરી રહ્યા છે, ટેક્સ્ટ જનરેટ કરી રહ્યા છે. વિલંબ મહત્વપૂર્ણ છે. ગ્રાહકની નજીક થોડો જૂનો એક્સિલરેટર એક ખંડ દૂરના ગ્લેમરસ એક્સિલરેટરને હરાવી શકે છે.

તો તમને એક ભાગલા પડે છે. તાલીમ કેમ્પસ શક્તિ, જમીન અને ઘનતાનો પીછો કરે છે. અનુમાન સ્થળો વિલંબતા અને હાજરીનો પીછો કરે છે. હાઇબ્રિડ હોલ પણ અસ્તિત્વમાં છે, કારણ કે મૂડી અનંત નથી. સારું - હંમેશા બે ઇમારતો નહીં. ક્યારેક એક હોલ જેમાં મખમલ દોરડું અને બે કૂલિંગ લૂપ હોય છે.

આ તે જગ્યા છે જ્યાં કોલોકેશન, હાઇપરસ્કેલ કેમ્પસ અને ઓન-પ્રેમ ફોર્ક પણ છે. હાઇપરસ્કેલર્સ એવા સ્કેલ પર બિલ્ડ કરે છે જેનાથી આપણા બાકીના લોકો એવું લાગે છે કે આપણે ફર્નિચર ગોઠવી રહ્યા છીએ. કોલોસ રેક દ્વારા ઘનતા વેચે છે. ઓન-પ્રેમ હજુ પણ ત્યારે થાય છે જ્યારે ડેટા છોડી શકતો નથી.

સ્ટોરેજ થ્રુપુટ, ચેકપોઇન્ટ્સ અને હંગ્રી ચિપ્સ

કોઈ પણ બ્રોશરના કવર પર સમાંતર ફાઇલ સિસ્ટમ મૂકતું નથી.

તાલીમ ડેટા એટલો ઝડપથી પહોંચવો જોઈએ કે GPU તેમના પગ ટેકવી ન શકે. ચેકપોઇન્ટ્સ ઉતરવા જોઈએ જેથી ક્રેશ એક અઠવાડિયા સુધી નષ્ટ ન થાય. સર્વિંગ રેપ્લિકા લાઇવ થાય તે પહેલાં મોડેલ વજન લોડ કરવું પડે છે. સ્ટોરેજ થ્રુપુટ - ફક્ત ક્ષમતા જ નહીં - શાંત અવરોધ છે. તમે એક્સિલરેટર પર ઘણો ખર્ચ કરી શકો છો અને વર્ચ્યુઅલ મશીનો માટે રચાયેલ નમ્ર શ્રેણી સાથે તેમને ભૂખ્યા રાખી શકો છો.

આ પેટર્ન પરિચિત છે: એક ચમકતો ક્લસ્ટર, જોબ કતાર, અને I/O એક અસંસ્કારી ઇન્વોઇસની જેમ પાછળ જોતા રાહ જુએ છે. ડેટા પાથને ક્લસ્ટર કર્યા વિના કમ્પ્યુટ ક્લસ્ટર કરવાથી તમે ખૂબ જ ખર્ચાળ નિષ્ક્રિયતા મેળવી શકો છો. ચિપ્સને ફીડ રાખો અથવા સ્વીકારો કે તમે એક શિલ્પ ખરીદ્યું છે.

સોફ્ટવેર, ઓર્કેસ્ટ્રેશન, અને અનગ્લામરસ ઓપ્સ લેયર

હાર્ડવેર એ સેલિબ્રિટી છે. શેડ્યૂલર્સ કામ કરે છે.

જો નોકરીઓ GPU શોધી શકતી નથી, જો બે ટીમો મુક્કાબાજી વિના ક્લસ્ટર શેર કરી શકતી નથી, જો નિષ્ફળ રેન્ક બદલી શકાતી નથી, જો ફર્મવેર ધીમી ગતિમાં ફેબ્રિક નિષ્ફળ જાય ત્યાં સુધી ડ્રિફ્ટ થાય છે, તો AI ડેટા સેન્ટર નકામું છે. ઓર્કેસ્ટ્રેશન, અવલોકનક્ષમતા, પાવર કેપિંગ - અનગ્લામરસ ઓપ્સ લેયર, જે રીતે તમે જાણો છો તે મહત્વનું છે.

આ સ્તર માટે મને થોડી નબળાઈ છે. અને જ્યાં ખોટી રીતે ગોઠવાયેલ NIC આખી બપોર માટે ઠંડકની સમસ્યાનું અનુકરણ કરે છે... ત્યાં તમને તે મુશ્કેલ રીતે મળશે.

જ્યારે નોડ અધવચ્ચે જ મૃત્યુ પામે છે

એક નોડ મરી જાય છે. ચેન્જ વિન્ડો હજુ પણ તાલીમ દોડ સાથે અથડાય છે જે તમારા કેલેન્ડરની પરવા નથી કરતી. તમે મોટા કામોનું શેડ્યૂલ બનાવો છો, અનુમાન પૂલને બંધ કરો છો, નિષ્ફળતાઓ માટે રનબુક લખો છો જે "કામ ધીમું છે" જેવી દેખાય છે જ્યાં સુધી તે "કામ મરી ગયું છે" જેવા ન દેખાય. રીડન્ડન્સી હજુ પણ મહત્વપૂર્ણ છે - પાવર, કૂલિંગ, પાથ, સ્ટોરેજ - પરંતુ નિષ્ફળતા મોડ જૂના નવ-અપટાઇમ સ્લાઇડ કરતાં ઓછો વ્યવસ્થિત છે. અનુમાન: પ્રતિકૃતિ, માંદા નોડને ડ્રેઇન કરો, જવાબ આપતા રહો. તાલીમ ચેકપોઇન્ટ ઇચ્છે છે, આશાવાદ નહીં.

સ્થાન, પાણી, ગ્રીડ અને પડોશીઓ

તમે આમાંથી એક પણ કુટીરની બાજુમાં જોવા માટે ન મુકો.

ગ્રીડ કનેક્શન ઘણીવાર વાસ્તવિક સ્થળ-પસંદગી પ્રક્રિયા હોય છે. સબસ્ટેશન અને અન્ય ગ્રાહકો ધરાવતી ઉપયોગિતાની તુલનામાં જમીન સરળ છે. જો તમે ઠંડક માટે પાણીનો ઉપયોગ કરો છો, તો વરસાદ ખરાબ થતાં જ પડોશીઓનો મુદ્દો બની જાય છે. અવાજ. દ્રશ્ય જથ્થાબંધ. સીમા વાડ પર ગરમી. આયોજન સમિતિઓ "વાદળ" વિશે મંતવ્યો શોધે છે જ્યારે તેને ખેતર અને નદીની જરૂર હોય છે.

વિલંબ બીજી રીતે ખેંચે છે. અનુમાન વપરાશકર્તાઓ અને ઇન્ટરકનેક્ટ્સની નજીક રહેવાનું પસંદ કરે છે. તાલીમ સસ્તા પાવર બજારો અને ઠંડા વાતાવરણમાં છુપાઈ શકે છે. ઉદ્યોગ એવી વાત કરે છે કે જાણે એક સંપૂર્ણ સ્થળ હોય. પરંતુ તે નથી. પ્રેસ રિલીઝ સાથે સમાધાન થાય છે.

બચેલી ગરમી અને બિનઆમંત્રિત ભઠ્ઠી

બ્રોશરોને આ ભાગ ખૂબ ગમે છે. ઘરો, પૂલ, ગ્રીનહાઉસમાં કચરાની ગરમી પાઈપ કરો; આ એક સુંદર વાક્ય છે. ક્યારેક ડિસ્ટ્રિક્ટ લૂપ અસલી હોય છે. ક્યારેક કેમ્પસ ખોટી જગ્યાએ હોય છે અને ગરમી હજુ પણ હવામાં જાય છે. મને બ્રોશરના સંસ્કરણ પર શંકા છે; મને ભૌતિકશાસ્ત્ર પર શંકા નથી.

કોને એકની જરૂર છે (અને તેના બદલે કોણે ભાડે લેવું જોઈએ)

મોટાભાગના લોકોને આમાંથી કોઈ એક હોલ ધરાવવાની જરૂર નથી.

સ્પષ્ટ યાદી:

• હાઇપરસ્કેલર્સ, કારણ કે ઉત્પાદન એ કાફલો છે

• લેબ્સ, જ્યારે કતાર સમય અવરોધ હોય છે, અથવા ડેટા છોડી શકતો નથી

• ગુપ્ત ડેટાસેટ ધરાવતો બેંક, હોસ્પિટલ જૂથ, સરકાર અથવા ઉત્પાદક - ઓન-પ્રેમ અથવા ખાનગી કોલો કેજ તર્કસંગત હોઈ શકે છે, ભલે તે ભૂલભરેલું હોય

બાકીના બધાએ ભાડે રાખવું જોઈએ. AI-તૈયાર ઘનતા સાથેનું કોલોકેશન. ક્લાઉડ રિઝર્વેશન. મેનેજ્ડ ક્લસ્ટર. તમને પાવર-પ્લાન્ટ ઓપરેટર બન્યા વિના પણ એક્સિલરેટર મળે છે. જ્યારે કોઈ પહેલી વાર પૂછે છે કે સવારે 3 વાગ્યે શીતક લૂપ માટે કોણ કૉલ પર છે ત્યારે રોમાંસ ઓછો થઈ જાય છે.

હું કબૂલ કરું છું કે ગર્વની વાત છે. ક્લસ્ટરની માલિકી આગાહીના માધ્યમની માલિકી જેવી લાગે છે. પછી વીજળીનું બિલ આવે છે, અને ગર્વ બેસી જાય છે.

આ ઇમારત શેના માટે છે?

તો, AI ડેટા સેન્ટર શું છે? એક વિશિષ્ટ, ઉચ્ચ-ઘનતા ધરાવતું કેમ્પસ જ્યાં એક્સિલરેટર, પાવર, કૂલિંગ, ફેબ્રિક અને સ્ટોરેજ તાલીમ અને સર્વિંગ મોડેલ્સની આસપાસ ગોઠવાયેલા હોય છે - ખૂણામાં GPU સાથે સામાન્ય હેતુવાળા IT નહીં. તે વેરહાઉસ જેવું લાગે છે. તે ગણિત કરતા પાવર સ્ટેશન જેવું વર્તે છે.

જો તમને બીજું કંઈ યાદ ન હોય તો: ચિપ્સને ખ્યાતિ મળે છે; સબસ્ટેશન, શીતક અને નેટવર્ક નક્કી કરે છે કે તે ચિપ્સ એક સારો વિચાર હતો કે નહીં. તાલીમ અને અનુમાન એક છત શેર કરી શકે છે; તેઓ હજુ પણ અલગ રીતભાત ઇચ્છે છે. મોટાભાગની સંસ્થાઓએ ભાડે રાખવું જોઈએ. થોડાએ બનાવવું જોઈએ. પડોશીઓ બંને રીતે ધ્યાન આપશે.

વાદળની હંમેશા એક ઇમારત હતી. આજકાલ ઇમારતના પોતાના મંતવ્યો હોય છે.

વાસ્તવિક દુનિયાનું ઉદાહરણ: જ્યારે છબીઓ બહાર નીકળી શકતી નથી ત્યારે બે-રેક તાલીમ કોષ

દૃશ્ય

ટોમોસ વેસ્ટ મિડલેન્ડ્સમાં 400 વ્યક્તિઓના ઉત્પાદક, કેસ્ટ્રેલ પ્રિસિઝનમાં ઇન્ફ્રાસ્ટ્રક્ચર લીડ છે. તેમની પાસે પહેલેથી જ એક નાનો ઓન-પ્રીમ હોલ છે: ERP, ફાઇલ શેર્સ, વર્ચ્યુઅલ મશીનો, આ લેખ શરૂ થયો તે મિશ્ર પડોશી. એર કૂલિંગ. સામાન્ય ઇથરનેટ. એક SAN જે ઓફિસ ડિસ્ક માટે સંપૂર્ણપણે નમ્ર છે.

મશીન-વિઝન ટીમને ફેક્ટરી સ્ટિલ પર નિરીક્ષણ મોડેલને તાલીમ આપવાની જરૂર છે. સ્ટિલ સાઇટ છોડી શકતી નથી. તેઓ એવી પ્રક્રિયા દર્શાવે છે જે કંપની ક્લાઉડ ડિસ્ક પર નહીં મૂકે, ખાનગી ડિસ્ક પર પણ નહીં. પ્રોક્યોરમેન્ટનો ઉકેલ ચાર ડ્યુઅલ-એક્સિલરેટર સર્વર્સ અને "અમારું AI ડેટા સેન્ટર" શીર્ષકવાળી સ્લાઇડ છે. સર્વર્સ બે હાલના રેક્સમાં જાય છે, કારણ કે ત્યાં જગ્યા હોય છે, અને જગ્યા અવરોધ જેવી લાગતી હતી.

એવું નથી. પખવાડિયામાં GPUs વ્યસ્ત લાગે છે અને પછી શાંતિથી થ્રોટલ થાય છે. જ્યારે ચેકપોઇન્ટ SAN પર અથડાશે ત્યારે નોકરીઓ ક્રોલ થાય છે. અગિયાર વાગ્યે એક નોડ મરી જાય છે અને દોડ બસ... જતી રહે છે. ટોમોસ ચિપ્સ ખરીદવામાં નિષ્ફળ ગયો નથી. તેણે પોસ્ટકોડ શેર કરતા મોંઘા વર્કસ્ટેશનનો ઢગલો ખરીદ્યો છે. ઇમારત હજુ પણ એક એન્ટરપ્રાઇઝ હોલ હતી.

તેમને કેમ્પસ, નવા સબસ્ટેશન કે નદીની જરૂર નથી. તેમને એક નાના સેલની જરૂર છે જે લઘુચિત્ર AI ડેટા સેન્ટર જેવું વર્તે: રેક્સ ખરેખર પકડી શકે તેવી શક્તિ, ચીપ્સ રાંધ્યા વિના બહાર નીકળતી ગરમી, તાલીમ કાર્ય માટે યોગ્ય ફેબ્રિક, ચેકપોઇન્ટનો ઉપયોગ કરી શકે તેવી સ્ટોરેજ, અને નોડ મરી જાય ત્યારે રનબુક. કારણ કે છબીઓ છોડી શકતી નથી, ચાલીસ મિનિટ દૂર કોલો કેજ ભાડે રાખવું એ જવાબ નથી. બે રેક્સને રિટ્રોફિટ કરવું એ છે.

કોષને શું જોઈએ છે

• તે પંક્તિ પર માપેલ પાવર બજેટ, PDU માંથી, GPU વિશલિસ્ટ માંથી નહીં. જો ફાજલ ક્ષમતા તાલીમ લોડ પર ચાર સર્વરોને ફીડ ન કરી શકે, તો વાતચીત ત્યાં જ અટકી જાય છે અને તેઓ વધુ ગાઢ કોલો તરફ જુએ છે, ચમત્કાર નહીં

• હવાને ઠંડુ કરવા માટે ક્યારેય આ ઘનતા પર હેન્ડલ કરવાનું કહેવામાં આવ્યું ન હતું: જો હોલ તેમને લઈ શકે તો પાછળના દરવાજાના હીટ એક્સ્ચેન્જર્સ, અથવા જો તે લઈ શકે તો એક નાનો લિક્વિડ લૂપ. જો બંનેમાંથી કોઈ એક પણ ન હોય, તો સર્વર્સ અંદર જતા નથી

• ચાર નોડ્સ વચ્ચે એક સમર્પિત હાઇ-બેન્ડવિડ્થ ફેબ્રિક, ઓફિસ ઇથરનેટ નહીં. જો વિક્રેતા પાસે કેટલોગમાં ફક્ત 10 Gb સ્વીચ હોય, તો તે ક્લસ્ટર નથી

• ચેકપોઇન્ટ અને તાલીમ શાર્ડ્સ માટે સ્થાનિક ઝડપી સંગ્રહ, VM SAN નહીં

• એક શેડ્યૂલર, એક ચેકપોઇન્ટ ઇન્ટરવલ, અને એક લેખિત રીસ્ટાર્ટ પાથ. હાર્ડવેર એ સેલિબ્રિટી છે. આ સ્તર કામ છે

• ફેક્ટરી લાઇન માટે એક વાડવાળું અનુમાન બોક્સ, તાલીમ ચેટરથી અલગ, કારણ કે સેવા આપવા માટે પૂંછડીમાં વિલંબ અને અલગતા જોઈએ છે, સામૂહિક નહીં

• પાવર, GPU ઘડિયાળો, થ્રોટલ ઇવેન્ટ્સ અને જોબ વોલ-ક્લોક લોગ કરવાની પરવાનગી. જો તેઓ તેનું નિરીક્ષણ કરી શકતા નથી, તો તેઓ GPU નો ફોટોગ્રાફ લેશે અને સ્વીચો ચૂકી જશે

ઉદાહરણ સૂચના

ટોમોસ આ વાતને સુવિધાઓમાં સંક્ષિપ્તમાં, સામાન્ય ભાષામાં જણાવે છે:

આને AI કેમ્પસ ન કહો. હાલના હોલમાં ચાર ડ્યુઅલ-એક્સિલરેટર સર્વર્સ માટે બે-રેક તાલીમ સેલ બનાવો. ફેક્ટરી છબીઓ સ્થળ પર રહે છે. સફળતા એ છે કે: ચાર નોડ્સ થર્મલ થ્રોટલ વિના 12-એપોચ નિરીક્ષણ-તાલીમ રેસીપી પૂર્ણ કરે છે, દસ મિનિટમાં નહીં પણ મિનિટોમાં ચેકપોઇન્ટ લખે છે, અને જ્યારે આપણે હેતુપૂર્વક રેન્કને મારીએ છીએ ત્યારે તે ચેકપોઇન્ટથી ફરી શરૂ થાય છે. ઠંડકએ GPU ને તેમના તાલીમ ઘડિયાળો પર રાખવું જોઈએ. નેટવર્કિંગ એ એક ફેબ્રિક હોવું જોઈએ જે તે ચાર બોક્સ શેર કરે છે, ઓફિસ સ્ટેક દ્વારા માર્ગ નહીં. સ્ટોરેજ ચિપ્સને ફીડ કરવું જોઈએ. જો પાછળના દરવાજાના હીટ એક્સ્ચેન્જર્સ ફિટ ન થાય, તો કહો અને બંધ કરો. મિશ્ર હોલમાં બે રેક માટે PUE નો ઉલ્લેખ કરશો નહીં. તે નંબર થિયેટર હશે.

પછી તે તાલીમ કાર્યમાં જ આ મૂકે છે:

દર 30 મિનિટે ચેકપોઇન્ટ પર લોકલ ફાસ્ટ પૂલ પર જાઓ. જો કોઈ રેન્ક મરી જાય, તો છેલ્લી સંપૂર્ણ ચેકપોઇન્ટથી ફરી શરૂ કરો. SAN પર રાહ જોશો નહીં. ઘડિયાળો ગરમીથી નીચે આવી જાય ત્યાં સુધી તાલીમ ચાલુ રાખશો નહીં. તેને લોગ કરો અને રોકો જેથી આપણે સ્ટોલ જોઈ શકીએ.

સારો સમય આના જેવો દેખાય છે: તાલીમ ઘડિયાળોમાં બધા આઠ GPU, ચેકપોઇન્ટ ફાઇલ લેન્ડ થઈ ગઈ છે, કામ હજુ પણ લોકસ્ટેપમાં છે. ખરાબ સમય આના જેવો દેખાય છે: ચાહકો પૂરા અવાજમાં છે, ઘડિયાળો ડાઉન છે, દસ મિનિટ પછી ચેકપોઇન્ટ 2% લખેલું છે, અને ઓફિસમાં કોઈ કહે છે કે "ક્લસ્ટર ઉપર છે". ઉપર તાલીમ નથી.

તેનું પરીક્ષણ કેવી રીતે કરવું

તેઓ રેટ્રોફિટ પહેલાં ટેસ્ટ લખે છે, જે ડેમો પર વિશ્વાસ ન કરવાનો મુખ્ય મુદ્દો છે.

• એ જ ૧૨-યુગની રેસીપી, એ જ ૧,૨૦,૦૦૦ નિરીક્ષણ ચિત્રો, આઠ રન

• સમય દિવાલ-ઘડિયાળ જેવો છે અને ફિનિશ્ડ રેસીપી સુધી ચાલે છે, જેમાં કોઈપણ પુનઃપ્રારંભનો સમાવેશ થાય છે, જે જોબ સબમિટથી લઈને એપોક ૧૨ ના છેલ્લા ચેકપોઇન્ટ સુધી માપવામાં આવે છે

• ગરમી પર પાસ: GPU ઘડિયાળો દોડ માટે તાલીમ લક્ષ્ય પર રહે છે. જો કાર્ય આખરે પૂર્ણ થાય તો પણ થ્રોટલ ઇવેન્ટ નિષ્ફળ જાય છે

• સ્ટોરેજ પર પાસ: જોબ લોગમાંથી ચેકપોઇન્ટ લખવાનો સમય, મધ્યક અને ખરાબ સમય

• ફેબ્રિક પર પાસ: જ્યારે રેન્ક સ્વસ્થ હોય ત્યારે કામ સામૂહિક રાહમાં બેસતું નથી. જો તેઓ તે રાહ જોઈ શકતા નથી, તો ઇન્સ્ટ્રુમેન્ટેશન પૂર્ણ થતું નથી

• આઠ રનમાંથી બે રનને રિસ્ટાર્ટ પાથનું પરીક્ષણ કરવા માટે, જાણી જોઈને, એક નિશ્ચિત પગલા પર રેન્ક કિલ કરવામાં આવે છે

• અનુમાન એ ફેક્ટરી લાઇનથી ફેન્સ્ડ સર્વિંગ બોક્સ સુધીનું એક અલગ 200-ઇમેજ પરીક્ષણ છે. તાલીમ સફળતાને સર્વિંગ સફળતા તરીકે ગણવામાં આવતી નથી

• તેઓ 15-મિનિટના નમૂનાઓમાં PDUs માંથી રેક પાવર રેકોર્ડ કરે છે જેથી કોઈને મેગાવોટની શોધ ન કરવી પડે

સેલને "AI-ready" કહેવા માટે સ્વીકૃતિ: 8 માંથી 8 રેસિપી પૂર્ણ; 8 માંથી 0 થર્મલ થ્રોટલ દર્શાવે છે; બંને કિલ્ડ રન ફરી શરૂ થાય છે; ચેકપોઇન્ટ મિનિટોમાં રહે છે. જો તેઓ તે ચૂકી જાય, તો પણ તેમની પાસે ફેન્સી ગ્રાફિક્સ કાર્ડ્સ સાથેનો સર્વર રૂમ છે.

પરિણામ

આઠ રનના ટેસ્ટમાંથી બનાવેલા પરિણામનું ઉદાહરણરૂપ પરિણામ, પ્રકાશિત કેસ્ટ્રેલ આંકડો નહીં.

ધારણાઓ: બે રેકમાં ચાર ડ્યુઅલ-એક્સિલરેટર સર્વર્સ; એક નિરીક્ષણ મોડેલ; 120,000 સ્ટિલ; નિશ્ચિત 12-એપોચ રેસીપીના આઠ રન; વોલ-ક્લોકમાં રેસીપી પૂર્ણ થાય ત્યાં સુધી પુનઃપ્રારંભનો સમાવેશ થાય છે; થ્રોટલ એટલે તાલીમ ઘડિયાળમાંથી લોગ થયેલ ડ્રોપ; ચેકપોઇન્ટ સમય એ લખવાનો સમય છે, ઇચ્છા નહીં; રેક પાવર એ PDU નમૂનાઓ છે, કેમ્પસ PUE નહીં.

રેટ્રોફિટ પહેલાં, ઓફિસ ઇથરનેટ અને VM SAN પર સામાન્ય એર-કૂલ્ડ રેક્સમાં GPUs:

• 8 માંથી 5 રન પહેલા પ્રયાસમાં જ પૂરા થયા. તે પાંચમાં સરેરાશ વોલ-ક્લોક: 14 કલાક

• લગભગ ૧૧ વાગ્યે એક સ્ટોલ પછી ૮ માંથી ૩ ને ફરીથી શરૂઆત કરવી પડી (એક નોડ વાસી ચેકપોઇન્ટથી મરી ગયા પછી બે, એક ચેકપોઇન્ટ SAN ભરાઈ ગયા પછી એક). તાત્કાલિક ફરી પ્રયાસ કરો, ઘડિયાળમાં રાતોરાત રાહ જોવાની જરૂર નથી: ૧૧ કલાક વેડફાયા વત્તા ૧૪ કલાકનો બીજો પ્રયાસ, અથવા તે ત્રણ પર રેસીપી પૂર્ણ થયાના ૨૫ કલાક

• આઠેયમાં રેસીપી પૂર્ણ થવાનો સરેરાશ સમય, પુનઃપ્રારંભ સહિત: ૧૮ કલાક. (૧૪ વાગ્યે પાંચ, ૨૫ વાગ્યે ત્રણ. આઠેયનો સરેરાશ હજુ પણ ૧૪ છે, જે પુનઃપ્રારંભને છુપાવશે. તેથી જ અહીં સરેરાશ બેઝલાઇન છે.)

• થર્મલ થ્રોટલ 8 માંથી 7 રન પર લૉગ ઇન થયું. ઘટાડેલા ઘડિયાળ પર સરેરાશ સમય: 14-કલાકના પ્રયાસમાં 3 કલાક

• ચેકપોઇન્ટ લખો: સરેરાશ 22 મિનિટ

• રેન્ક-કિલ એ એવી પરીક્ષા નહોતી જે તેઓ પાસ કરી શકે. તેમની પાસે રનબુક નહોતી. બે આકસ્મિક મૃત્યુ એ શોધ હતી

• તાલીમ દરમિયાન બે રેક્સ પર પીક આઇટી લોડ: લગભગ 18 kW. હરોળમાં વોટ હતા. તેમાં કૂલિંગ કે ફેબ્રિક નહોતું

તે બે રેક્સ પર પાછળના દરવાજાના હીટ એક્સ્ચેન્જર્સ પછી, ચાર નોડ્સ વચ્ચે એક સમર્પિત ફેબ્રિક, ચેકપોઇન્ટ માટે એક નાનો NVMe પૂલ, 30-મિનિટ ચેકપોઇન્ટિંગ અને રીસ્ટાર્ટ રનબુક:

• 8 માંથી 8 પ્રથમ પ્રયાસમાં જ પૂર્ણ થયા. મધ્ય દિવાલ-ઘડિયાળ: 9 કલાક

• થર્મલ થ્રોટલ: 8 માંથી 0

• ચેકપોઇન્ટ લખાણ: સરેરાશ 90 સેકન્ડ. સેટમાં સૌથી ખરાબ: 3 મિનિટ

• બે ઇરાદાપૂર્વકના રેન્ક-કિલ બંને છેલ્લી 30-મિનિટના ચેકપોઇન્ટથી ફરી શરૂ થયા. તે બે રન પર વધારાની વોલ-ક્લોક: લગભગ 40 મિનિટ, નિદાન સહિત, તેથી તે બે રન 9 કલાક 40 મિનિટની આસપાસ રહ્યા. સરેરાશ આઠ સ્થિર રાઉન્ડથી 9 કલાક સુધી

• પીક આઇટી લોડ હજુ પણ લગભગ 18 kW છે. ચિપ્સ સમાન છે. બિલ્ડિંગનું વર્તન અલગ છે

આ નમૂનામાં, રેસીપી પૂર્ણ કરવા માટેનો સરેરાશ સમય ૧૮ કલાકથી ઘટીને ૯ કલાક થયો, એટલે કે આઠ રનમાં ૭૨ કલાક. પહેલી વાર પૂર્ણ કરનાર વ્યક્તિ ૮ માંથી ૫ થી ઘટીને ૮ માંથી ૮ થઈ ગયો. થ્રોટલ ૮ માંથી ૭ થી ઘટીને ૮ માંથી ૦ થઈ ગયો. તે છેલ્લો આંકડો એ દર્શાવે છે કે તેઓએ એક્સિલરેટર ખરીદ્યા કે પેપરવેઈટ. તેઓ સમય પરિવર્તનને ઉત્પાદનમાં ૫૦% બચત કહેશે નહીં. આઠ રન એક નાનો, સરળ સેટ છે.

આ આંકડા જણાવેલ પરીક્ષણ, એક નાનો નમૂનો, એક મોડેલ અને એક મિશ્ર હોલના આધારે એક ઉદાહરણ અંદાજ છે. તે PUE નથી, કેમ્પસ મેગાવોટ નથી, અને કેસ્ટ્રેલે ક્ષેત્રમાં તાલીમ સ્થળ બનાવવું જોઈએ તેનો પુરાવો નથી. લોગની સમીક્ષા 9 કલાકની અંદર હતી; તેઓએ તેને છુપાવ્યું ન હતું. 18 kW આંકડો ગોળાકાર PDU રીડિંગ છે, ઉપયોગિતા બિલ નથી. તેઓએ 72 કલાકને ખર્ચમાં રૂપાંતરિત કર્યા નથી, કારણ કે ફેક્ટરીના મિશ્રિત વીજળી દરે નકલી વ્યવસાયિક કેસ બનાવ્યો હોત.

સર્વિંગ ચેક અલગ અને નાનો હતો: ફેન્સ્ડ બોક્સમાં 200 લાઇન છબીઓ, બધી સાઇટ પર. તે અનુમાન છે, તાલીમ નહીં. બંનેને મિશ્રિત કરવું એ લઘુચિત્રમાં હાઇબ્રિડ-હોલ ભૂલ હોત.

શું ખોટું થઈ શકે છે?

• પ્રાપ્તિ ચાર સર્વરને "AI ડેટા સેન્ટર" કહેતી રહે છે. લેબલ પ્લમ્બિંગ છુપાવે છે, અને આગામી ખરીદી એ જ બીમાર પાંખ માટે વધુ GPUs ની છે

• પાછળના દરવાજાના એક્સચેન્જર્સ અંદર જાય છે અને કોઈ પાણીની બાજુએ કામ કરતું નથી. પંખા હજુ પણ બૂમો પાડે છે. ઘડિયાળો હજુ પણ બંધ થાય છે

• આ ફેબ્રિક એક જ સ્વીચ છે જેમાં કોઈ ફાજલ રસ્તો નથી. એક નિષ્ફળ લિંક અને "ક્લસ્ટર" ફરીથી ચાર વર્કસ્ટેશન છે

• ચેકપોઇન્ટ્સ SAN પર રહે છે કારણ કે NVMe પૂલ "ફેઝ ટુ" હતો. ફેઝ ટુ આગામી ડેડ નોડ પહેલાં આવતો નથી

• તેઓ મિશ્ર હોલમાં બે રેક્સ માટે PUE નો ઉલ્લેખ કરે છે. આબોહવા, સીમા અને બાકીની ERP પંક્તિ તે ગુણોત્તરને કોસ્ચ્યુમ બનાવે છે

• તાલીમ અને સેવા આપવી એ ફેબ્રિકને વહેંચે છે. ચેકપોઇન્ટ પૂર ફેક્ટરી લાઇનને રાહ જોવા માટે મજબૂર કરે છે. ટેઇલ લેટન્સી એ ત્યાંનું ઉત્પાદન છે, ઘનતા નહીં

• એક નોડ મરી જાય છે અને કોઈ તેને ચેકપોઇન્ટ રીસ્ટાર્ટ કરવાને બદલે અપટાઇમ ટિકિટ તરીકે ગણે છે. એન્ટરપ્રાઇઝ ઓપ્સ અને એઆઈ ઓપ્સ આખી બપોર સુધી એકબીજાની પાછળ વાતો કરે છે

• તેઓ પાંજરું ભાડે લઈ શક્યા હોત, સિવાય કે છબીઓ છોડી ન શકે. આ મર્યાદા ભૂલી જવાથી તેઓ વાદળની વાતચીતમાં ડૂબી જશે અને તેમને આરામ કરવો પડશે

વ્યવહારુ ઉપાય

આ સ્વરૂપમાં, AI ડેટા સેન્ટર શું છે તે વેરહાઉસ નથી અને તે GPU ઇન્વોઇસ નથી. તે સેલ છે જે એક્સિલરેટરને રન પૂર્ણ કરવા દે છે: તેઓ પકડી શકે તેવી શક્તિ, ગરમી જે છોડે છે, ફેબ્રિક, ચેકપોઇન્ટ અને રેન્ક મૃત્યુ પામે ત્યારે હૂક પર કોઈ. કેસ્ટ્રેલને કેમ્પસની જરૂર નહોતી. ડોળ કરવાનું બંધ કરવા માટે તેમને બે રેક્સની જરૂર હતી. મોટાભાગની ટીમોએ તે વર્તન ભાડે લેવું જોઈએ. ગુપ્ત ડેટાસેટ અને ગરમી સહન કરી શકે તેવા હોલ સાથે, કેટલીક ટીમોએ સેલ બનાવવો જોઈએ અને સ્લાઇડનો ઇનકાર કરવો જોઈએ.

વારંવાર પૂછાતા પ્રશ્નો

એઆઈ ડેટા સેન્ટર શું છે?

એક ઉચ્ચ-ઘનતા કમ્પ્યુટ સાઇટ જ્યાં પાવર, કૂલિંગ, નેટવર્કિંગ અને સ્ટોરેજ સમાંતર તાલીમ અને મોડેલ સર્વિંગની આસપાસ વળેલા છે, સામાન્ય હેતુવાળા સર્વર્સની વ્યવસ્થિત હરોળ નહીં. તે એવી રીતે ડિઝાઇન કરવામાં આવ્યું છે કે મોટી સંખ્યામાં એક્સિલરેટર ઓગળ્યા વિના, નેટવર્ક પર અટક્યા વિના અથવા ડિસ્ક પર રાહ જોયા વિના મોડેલોને તાલીમ આપી શકે છે અને સેવા આપી શકે છે. એક સામાન્ય એન્ટરપ્રાઇઝ હોલ એક મિશ્ર પડોશી છે. AI હોલ એક મોનોકલ્ચર છે જેનું મૂલ્યનું એકમ એક્સિલરેટર છે, જેમ કે GPU અથવા TPU-શૈલીના ચિપ્સ. તે વેરહાઉસ જેવું લાગે છે અને ગણિત કરતા પાવર સ્ટેશન જેવું વર્તે છે.

AI ડેટા સેન્ટર સામાન્ય ડેટા સેન્ટરથી કેવી રીતે અલગ છે?

પરંપરાગત હોલ ઘણી બધી નાની સેવાઓમાં મિશ્ર વર્કલોડ અને અપટાઇમ માટે ઑપ્ટિમાઇઝ કરે છે. AI સાઇટ્સ ગુણોત્તરને બદલી નાખે છે: ઘનતા વધે છે, નેટવર્ક એક એવું ફેબ્રિક બની જાય છે જેના વિના તાલીમ કાર્ય ઢીલું પડી શકે નહીં, અને સ્ટોરેજને ચેકપોઇન્ટ્સને ગતિશીલ રાખવા પડે છે અથવા એક્સિલરેટર નિષ્ક્રિય બેસી રહે છે. એન્ટરપ્રાઇઝ ઓપ્સ ટિકિટમાં વિચારે છે અને વિંડોઝ બદલે છે. AI ઓપ્સ જોબ કતારમાં વિચારે છે અને જ્યારે નોડ લાંબા ગાળે મોડેથી મૃત્યુ પામે છે ત્યારે બીમાર લાગણી અનુભવે છે. તમે હજુ પણ બંને ડેટા સેન્ટરોને કૉલ કરી શકો છો. લેબલ ફક્ત પ્લમ્બિંગને છુપાવે છે.

AI ડેટા સેન્ટરો આટલી બધી શક્તિ કેમ વાપરે છે?

આ સ્ટેન્ડઆઉટ હાર્ડવેર કોઈ હોંશિયાર CPU નથી. તે એક્સિલરેટર ટ્રે છે: GPUs અથવા અન્ય AI ચિપ્સ, સર્વર્સમાં પેક કરવામાં આવે છે, પછી રેક્સ, પછી પંક્તિઓ જે ઉચ્ચ-બેન્ડવિડ્થ ફેબ્રિક શેર કરે છે. રેક દીઠ ઘનતા એ પ્લોટ ટ્વિસ્ટ છે: ઓછા રેક્સ, દરેક એક નાની ભઠ્ઠી. હોલ ભરાઈ ગયા પછી મેગાવોટ IT લોડ દેખાય છે, જોકે લાક્ષણિક આકૃતિ શોધવી તે યોગ્ય નથી. મર્યાદિત પરિબળ ઘણીવાર સબસ્ટેશન હોય છે, GPUs ની વિશલિસ્ટ નહીં.

AI ડેટા સેન્ટર્સને કેવી રીતે ઠંડુ કરવામાં આવે છે?

ઉચ્ચ-ઘનતાવાળા રેક્સ ગરમીને એવી રીતે ફેંકી દે છે જે રીતે હવાને ક્યારેય નિયંત્રિત કરવાનું કહેવામાં આવ્યું ન હતું. તમે પાછળના દરવાજાના હીટ એક્સ્ચેન્જર્સ, ગરમ પાંખો અને ચતુરાઈથી હવાને વધુ મજબૂત રીતે દબાણ કરી શકો છો. પછી પ્રવાહી દેખાય છે: ડાયરેક્ટ-ટુ-ચિપ કૂલિંગ, શીતક લૂપ્સ અને કેટલીક ડિઝાઇનમાં નિમજ્જન. એક એક્સિલરેટર જે થ્રોટલ કરે છે તે તે છે જેના માટે તમે પહેલાથી જ ચૂકવણી કરી છે અને તેનો સંપૂર્ણ ઉપયોગ કરી શકતા નથી. PUE હજુ પણ મહત્વપૂર્ણ છે કારણ કે પંખા અને પંપ પર ખર્ચવામાં આવેલ દરેક વોટ એક વોટ છે જે GPU માં ગયો નથી. પાણી પણ વાર્તામાં રહે છે: કેટલાક છોડ ચૂસકી લે છે, કેટલાક ગળ્યા કરે છે.

નેટવર્કિંગ GPU જેટલું જ કેમ મહત્વનું છે?

તાલીમ એ એક વાતચીત છે: હજારો એક્સિલરેટર એક મોડેલના ગ્રેડિયન્ટ્સ, પરિમાણો અને શાર્ડ્સને ચુસ્ત સુમેળમાં બદલી રહ્યા છે. જો ફેબ્રિક ડગમગી જાય છે, તો આખું કામ સૌથી ધીમા હોપ પર રાહ જુએ છે. એટલા માટે AI હોલ ઉચ્ચ-બેન્ડવિડ્થ નેટવર્કિંગ, ઓછી લેટન્સી, ઇન્ફિનીબેન્ડ-ઇશ ફેબ્રિક્સ અથવા સમાન ભૂમિકામાં ઇથરનેટ, અને લિંક નિષ્ફળ જાય ત્યારે અડધા ફોલ્ડ ન થતી ટોપોલોજીઓ પર ધ્યાન કેન્દ્રિત કરે છે. ઇન્ફરન્સ ટેઇલ લેટન્સી, ઘણી નાની વિનંતીઓ અને આઇસોલેશનની કાળજી રાખે છે. આ બિલ્ડિંગમાં પ્લમ્બિંગ એ રેસ્ટોરન્ટ છે.

AI ડેટા સેન્ટરનો ઉપયોગ શેના માટે થાય છે: તાલીમ અથવા અનુમાન?

તાલીમ એક ઝુંબેશ છે: એક ક્લસ્ટર એસેમ્બલ કરો, તેને ડેટા ફીડ કરો, ધાર્મિક રીતે ચેકપોઇન્ટ કરો, અને કલાકો કે અઠવાડિયા સુધી દોડો. ઇન્ફરન્સ એક દુકાનનો ભાગ છે: પહેલાથી જ તાલીમ પામેલા મોડેલો, હવે જવાબ આપી રહ્યા છે, લેટન્સી મહત્વપૂર્ણ છે. તાલીમ કેમ્પસ શક્તિ, જમીન અને ઘનતાનો પીછો કરે છે. ઇન્ફરન્સ સાઇટ્સ લેટન્સી અને હાજરીનો પીછો કરે છે. હાઇબ્રિડ હોલ અસ્તિત્વમાં છે કારણ કે મૂડી અનંત નથી, ક્યારેક એક હોલ જેમાં બે કૂલિંગ લૂપ્સ હોય છે. ગ્રાહકની નજીક થોડો જૂનો એક્સિલરેટર એક ખંડ દૂર ગ્લેમરસ એક્સિલરેટરને હરાવી શકે છે.

AI ડેટા સેન્ટરમાં સ્ટોરેજ શા માટે મહત્વપૂર્ણ છે?

તાલીમ ડેટા એટલો ઝડપથી પહોંચવો જોઈએ કે GPU તેમના પગ ટેકવી ન શકે. ચેકપોઇન્ટ્સ ઉતરવા જોઈએ જેથી ક્રેશ એક અઠવાડિયા સુધી ન જાય. સર્વિંગ રેપ્લિકા લાઇવ થાય તે પહેલાં મોડેલ વજન લોડ કરવું પડે છે. સ્ટોરેજ થ્રુપુટ, ફક્ત ક્ષમતા જ નહીં, શાંત અવરોધ છે. તમે એક્સિલરેટર પર ઘણો ખર્ચ કરી શકો છો અને વર્ચ્યુઅલ મશીનો માટે રચાયેલ નમ્ર શ્રેણી સાથે તેમને ભૂખ્યા રાખી શકો છો.

જ્યારે નોડ અધવચ્ચે જ મૃત્યુ પામે છે ત્યારે શું થાય છે?

એક મજબૂત રીતે જોડાયેલા તાલીમ કાર્યમાં એક મૃત એક્સિલરેટર સમગ્ર સમૂહગીતને રોકી શકે છે. તાલીમ આશાવાદ નહીં, પરંતુ ચેકપોઇન્ટ્સ માંગે છે. અનુમાન બીમાર નોડને ડ્રેઇન કરે છે, પ્રતિકૃતિ જવાબ આપતી રહે છે, અને જીવંત રહે છે. બદલો વિંડોઝ હજુ પણ તાલીમ રન સાથે અથડાય છે જે તમારા કેલેન્ડરની કાળજી લેતા નથી. પાવર, કૂલિંગ, પાથ અને સ્ટોરેજ માટે રીડન્ડન્સી હજુ પણ મહત્વપૂર્ણ છે, પરંતુ નિષ્ફળતા મોડ જૂના નવ-અપટાઇમ સ્લાઇડ કરતાં ઓછો વ્યવસ્થિત છે.

AI ડેટા સેન્ટરની ગ્રીડ, પાણી અને પડોશીઓ પર શું અસર પડે છે?

ગ્રીડ કનેક્શન ઘણીવાર વાસ્તવિક સાઇટ-પસંદગી પ્રક્રિયા હોય છે. સબસ્ટેશન અને અન્ય ગ્રાહકો ધરાવતી યુટિલિટીની તુલનામાં જમીન સરળ છે. જો તમે ઠંડક માટે પાણીનો ઉપયોગ કરો છો, તો વરસાદ કઠોર હોય ત્યારે પડોશીઓનો મુદ્દો બની જાય છે, સાથે સાથે અવાજ, દ્રશ્ય બલ્ક અને સીમા વાડ પર ગરમી પણ હોય છે. તાલીમ સસ્તા પાવર બજારો અને ઠંડા વાતાવરણમાં છુપાઈ શકે છે. અનુમાન વપરાશકર્તાઓની નજીક રહેવાનું પસંદ કરે છે. કોઈ એક સંપૂર્ણ સાઇટ નથી. પ્રેસ રિલીઝ સાથે સમાધાન છે.

શું મારે AI ડેટા સેન્ટર રાખવાની જરૂર છે, કે ભાડે રાખવું જોઈએ?

મોટાભાગના લોકોને આમાંથી કોઈ એક હોલ રાખવાની જરૂર નથી. હાઇપરસ્કેલર્સ બનાવે છે કારણ કે ઉત્પાદન કાફલો છે. લેબ્સ ત્યારે બનાવે છે જ્યારે કતારનો સમય અવરોધ હોય છે અથવા ડેટા છોડી શકતો નથી. ગુપ્ત ડેટાસેટ ધરાવતો બેંક, હોસ્પિટલ, સરકાર અથવા ઉત્પાદક ઓન-પ્રીમ અથવા ખાનગી કોલો કેજને તર્કસંગત બનાવી શકે છે. બાકીના દરેકે ભાડે લેવું જોઈએ: AI-તૈયાર કોલોકેશન, ક્લાઉડ રિઝર્વેશન, અથવા મેનેજ્ડ ક્લસ્ટર. પાવર-પ્લાન્ટ ઓપરેટર બન્યા વિના તમને એક્સિલરેટર મળે છે.

સંદર્ભ

1. આઇઇએ - www.iea.org

2. LBNL - datacenters.lbl.gov

3. ગ્રીન ગ્રીડ - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. અપટાઇમ ઇન્સ્ટિટ્યૂટ - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. ગૂગલ ક્લાઉડ - docs.cloud.google.com

અધિકૃત AI સહાયક સ્ટોર પર નવીનતમ AI શોધો

અમારા વિશે