ટૂંકો જવાબ: AI મોડેલનો ઉપયોગ કરવાનો અર્થ એ છે કે સર્વિંગ પેટર્ન (રીઅલ-ટાઇમ, બેચ, સ્ટ્રીમિંગ અથવા એજ) પસંદ કરવી, પછી આખા પાથને પુનઃઉત્પાદનક્ષમ, અવલોકનક્ષમ, સુરક્ષિત અને ઉલટાવી શકાય તેવું બનાવવું. જ્યારે તમે ઉત્પાદન જેવા પેલોડ્સ પર બધું જ વર્ઝન કરો છો અને p95/p99 લેટન્સીને બેન્ચમાર્ક કરો છો, ત્યારે તમે મોટાભાગના "મારા લેપટોપ પર કામ કરે છે" નિષ્ફળતાઓને ટાળો છો.
મુખ્ય બાબતો:
ડિપ્લોયમેન્ટ પેટર્ન: ટૂલ્સનો ઉપયોગ કરતા પહેલા રીઅલ-ટાઇમ, બેચ, સ્ટ્રીમિંગ અથવા એજ પસંદ કરો.
પ્રજનનક્ષમતા: ડ્રિફ્ટ અટકાવવા માટે મોડેલ, સુવિધાઓ, કોડ અને પર્યાવરણનું સંસ્કરણ બનાવો.
અવલોકનક્ષમતા: લેટન્સી ટેલ્સ, ભૂલો, સંતૃપ્તિ અને ડેટા અથવા આઉટપુટ વિતરણોનું સતત નિરીક્ષણ કરો.
સલામત રોલઆઉટ્સ: ઓટોમેટિક રોલબેક થ્રેશોલ્ડ સાથે કેનેરી, બ્લુ-લીલો અથવા શેડો ટેસ્ટિંગનો ઉપયોગ કરો.
સુરક્ષા અને ગોપનીયતા: પ્રમાણીકરણ, દર મર્યાદા અને ગુપ્તતા વ્યવસ્થાપન લાગુ કરો અને લોગમાં PII ઓછું કરો.
આ પછી તમને વાંચવા ગમશે તેવા લેખો:
🔗 AI પ્રદર્શન કેવી રીતે માપવું
વિશ્વસનીય AI પરિણામો માટે મેટ્રિક્સ, બેન્ચમાર્ક અને વાસ્તવિક દુનિયાની તપાસ શીખો.
🔗 AI વડે કાર્યોને સ્વચાલિત કેવી રીતે કરવા
પ્રોમ્પ્ટ, ટૂલ્સ અને ઇન્ટિગ્રેશનનો ઉપયોગ કરીને પુનરાવર્તિત કાર્યને વર્કફ્લોમાં ફેરવો.
🔗 AI મોડેલ્સનું પરીક્ષણ કેવી રીતે કરવું
મોડેલોની નિરપેક્ષ રીતે સરખામણી કરવા માટે ડિઝાઇન મૂલ્યાંકન, ડેટાસેટ્સ અને સ્કોરિંગ.
🔗 AI સાથે કેવી રીતે વાત કરવી
વધુ સારા પ્રશ્નો પૂછો, સંદર્ભ સેટ કરો અને ઝડપથી સ્પષ્ટ જવાબો મેળવો.
૧) "ડિપ્લોયમેન્ટ" નો ખરેખર અર્થ શું છે (અને તે ફક્ત એક API કેમ નથી) 🧩
જ્યારે લોકો કહે છે કે "મોડેલ જમાવો," ત્યારે તેમનો અર્થ આમાંથી કોઈપણ હોઈ શકે છે:
-
એન્ડપોઇન્ટને એક્સપોઝ કરો જેથી એપ્લિકેશન રીઅલ ટાઇમમાં ઇન્ફરન્સ કૉલ કરી શકે (વર્ટેક્સ AI: એન્ડપોઇન્ટ પર મોડેલ ડિપ્લોય કરો, એમેઝોન સેજમેકર: રીઅલ-ટાઇમ ઇન્ફરન્સ)
-
ડેટાબેઝમાં આગાહીઓ અપડેટ કરવા માટે રાત્રે બેચ સ્કોરિંગ ચલાવો ( એમેઝોન સેજમેકર બેચ ટ્રાન્સફોર્મ )
-
સ્ટ્રીમ અનુમાન (ઘટનાઓ સતત આવે છે, આગાહીઓ સતત બહાર આવે છે) (ક્લાઉડ ડેટાફ્લો: બરાબર-એક વાર વિરુદ્ધ ઓછામાં ઓછું-એક વાર, ક્લાઉડ ડેટાફ્લો સ્ટ્રીમિંગ મોડ્સ)
-
એજ ડિપ્લોયમેન્ટ (ફોન, બ્રાઉઝર, એમ્બેડેડ ડિવાઇસ, અથવા "ફેક્ટરીમાં તે નાનું બોક્સ") (LiterRT ઓન-ડિવાઇસ ઇન્ફરન્સ, LiterRT ઝાંખી)
-
આંતરિક ટૂલ ડિપ્લોયમેન્ટ (વિશ્લેષક-મુખી UI, નોટબુક્સ, અથવા શેડ્યૂલ કરેલ સ્ક્રિપ્ટ્સ)
તેથી ડિપ્લોયમેન્ટ "મોડેલને સુલભ બનાવો" ઓછું અને વધુ આના જેવું છે:
-
પેકેજિંગ + સર્વિંગ + સ્કેલિંગ + મોનિટરિંગ + ગવર્નન્સ + રોલબેક (બ્લુ-ગ્રીન ડિપ્લોયમેન્ટ)
તે એક રેસ્ટોરન્ટ ખોલવા જેવું છે. એક સરસ વાનગી બનાવવી એ ચોક્કસ મહત્વનું છે. પરંતુ તમારે હજુ પણ બિલ્ડિંગ, સ્ટાફ, રેફ્રિજરેશન, મેનુ, સપ્લાય ચેઇન અને વોક-ઇન ફ્રીઝરમાં રડ્યા વિના રાત્રિભોજનની ભીડને સંભાળવાની રીતની જરૂર છે. આ એક સંપૂર્ણ રૂપક નથી... પણ તમે તે સમજી ગયા છો. 🍝
૨) “હાઉ ટુ ડિપ્લોય એઆઈ મોડેલ્સ” નું સારું વર્ઝન શું બનાવે છે ✅
"સારી જમાવટ" શ્રેષ્ઠ રીતે કંટાળાજનક હોય છે. તે દબાણ હેઠળ અનુમાનિત રીતે વર્તે છે, અને જ્યારે તે ન થાય, ત્યારે તમે તેનું ઝડપથી નિદાન કરી શકો છો.
"સારું" સામાન્ય રીતે આના જેવું દેખાય છે:
-
પુનઃઉત્પાદનક્ષમ બિલ્ડ્સ
સમાન કોડ + સમાન નિર્ભરતા = સમાન વર્તન. કોઈ ભયાનક "મારા લેપટોપ પર કામ કરતું નથી" વાઇબ્સ 👻 (ડોકર: કન્ટેનર શું છે?) -
સ્પષ્ટ ઇન્ટરફેસ કરાર
ઇનપુટ્સ, આઉટપુટ, સ્કીમા અને એજ કેસ વ્યાખ્યાયિત છે. 2am વાગ્યે કોઈ આશ્ચર્યજનક પ્રકારો નથી. (OpenAPI: OpenAPI શું છે?, JSON સ્કીમા) -
વાસ્તવિકતા સાથે મેળ ખાતું પ્રદર્શન
ઉત્પાદન જેવા હાર્ડવેર અને વાસ્તવિક પેલોડ્સ પર માપવામાં આવેલ લેટન્સી અને થ્રુપુટ. -
દાંત વડે દેખરેખ
મેટ્રિક્સ, લોગ્સ, ટ્રેસ અને ડ્રિફ્ટ ચેક જે ક્રિયાને ટ્રિગર કરે છે (માત્ર ડેશબોર્ડ જ નહીં કોઈ ખોલતું નથી). (SRE બુક: મોનિટરિંગ ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ) -
સલામત રોલઆઉટ વ્યૂહરચના
કેનેરી અથવા વાદળી-લીલો, સરળ રોલબેક, પ્રાર્થનાની જરૂર ન હોય તેવું સંસ્કરણ. (કેનેરી રિલીઝ, વાદળી-લીલો ડિપ્લોયમેન્ટ) -
બિલ ફોન નંબર જેવું ન દેખાય ત્યાં સુધી ખર્ચ અંગે જાગૃતિ "ઝડપી" ઉત્તમ છે 📞💸
-
ભેળવાયેલી સુરક્ષા અને ગોપનીયતા
. (કુબર્નેટ્સ સિક્રેટ્સ, NIST SP 800-122)
જો તમે તે સતત કરી શકો છો, તો તમે મોટાભાગની ટીમોથી આગળ છો. ચાલો પ્રમાણિક રહીએ.
૩) યોગ્ય ડિપ્લોયમેન્ટ પેટર્ન પસંદ કરો (ટૂલ્સ પસંદ કરતા પહેલા) 🧠
રીઅલ-ટાઇમ API અનુમાન ⚡
શ્રેષ્ઠ જ્યારે:
-
વપરાશકર્તાઓને તાત્કાલિક પરિણામોની જરૂર છે (ભલામણો, છેતરપિંડીની તપાસ, ચેટ, વૈયક્તિકરણ)
-
વિનંતી દરમિયાન નિર્ણયો લેવા જ જોઈએ
ધ્યાન રાખો:
-
p99 લેટન્સી સરેરાશ કરતાં વધુ મહત્વપૂર્ણ છે (ધ ટેઈલ એટ સ્કેલ, SRE બુક: મોનિટરિંગ ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ)
-
ઓટોસ્કેલિંગ માટે કાળજીપૂર્વક ટ્યુનિંગની જરૂર છે (કુબર્નેટ્સ હોરિઝોન્ટલ પોડ ઓટોસ્કેલિંગ)
-
કોલ્ડ સ્ટાર્ટ્સ ગપસપભરી હોઈ શકે છે... જેમ બિલાડી ટેબલ પરથી કાચ ધક્કો મારે છે (AWS લેમ્બડા એક્ઝેક્યુશન પર્યાવરણ જીવનચક્ર)
બેચ સ્કોરિંગ 📦
શ્રેષ્ઠ જ્યારે:
-
આગાહીઓમાં વિલંબ થઈ શકે છે (રાતોરાત જોખમ સ્કોરિંગ, ચર્ન આગાહી, ETL સંવર્ધન) (એમેઝોન સેજમેકર બેચ ટ્રાન્સફોર્મ)
-
તમને ખર્ચ કાર્યક્ષમતા અને સરળ કામગીરી જોઈએ છે
ધ્યાન રાખો:
-
ડેટા તાજગી અને બેકફિલ્સ
-
તાલીમ સાથે ફીચર લોજિકને સુસંગત રાખવું
સ્ટ્રીમિંગ અનુમાન 🌊
શ્રેષ્ઠ જ્યારે:
-
તમે સતત ઇવેન્ટ્સ પર પ્રક્રિયા કરો છો (આઇઓટી, ક્લિકસ્ટ્રીમ્સ, મોનિટરિંગ સિસ્ટમ્સ)
-
તમે કડક વિનંતી-પ્રતિસાદ વિના લગભગ વાસ્તવિક સમયમાં નિર્ણયો લેવા માંગો છો
ધ્યાન રાખો:
-
બરાબર-એકવાર વિરુદ્ધ ઓછામાં ઓછું-એકવાર અર્થશાસ્ત્ર (ક્લાઉડ ડેટાફ્લો: બરાબર-એકવાર વિરુદ્ધ ઓછામાં ઓછું-એકવાર)
-
રાજ્ય વ્યવસ્થાપન, પુનઃપ્રયાસો, વિચિત્ર ડુપ્લિકેટ્સ
એજ ડિપ્લોયમેન્ટ 📱
શ્રેષ્ઠ જ્યારે:
-
નેટવર્ક નિર્ભરતા વિના ઓછી લેટન્સી (LiterRT ઓન-ડિવાઇસ અનુમાન)
-
ગોપનીયતા મર્યાદાઓ
-
ઑફલાઇન વાતાવરણ
ધ્યાન રાખો:
-
મોડેલનું કદ, બેટરી, ક્વોન્ટાઇઝેશન, હાર્ડવેર ફ્રેગમેન્ટેશન (તાલીમ પછીનું ક્વોન્ટાઇઝેશન (ટેન્સરફ્લો મોડેલ ઑપ્ટિમાઇઝેશન))
-
અપડેટ્સ વધુ મુશ્કેલ છે (તમારે 30 વર્ઝનની જરૂર નથી...)
પહેલા પેટર્ન પસંદ કરો, પછી સ્ટેક પસંદ કરો. નહીં તો તમે ચોરસ મોડેલને ગોળાકાર રનટાઇમમાં મજબૂર કરશો. અથવા એવું કંઈક. 😬
૪) મોડેલનું પેકેજિંગ જેથી તે ઉત્પાદનના સંપર્કમાં રહે 📦🧯
આ તે જગ્યા છે જ્યાં મોટાભાગની "સરળ જમાવટ" શાંતિથી મરી જાય છે.
બધું જ વર્ઝન (હા, બધું જ)
-
મોડેલ આર્ટિફેક્ટ (વજન, ગ્રાફ, ટોકનાઇઝર, લેબલ નકશા)
-
ફીચર લોજિક (રૂપાંતરણ, નોર્મલાઇઝેશન, એન્કોડર્સ)
-
અનુમાન કોડ (પ્રોસેસિંગ પહેલા/પોસ્ટ-પ્રોસેસિંગ)
-
પર્યાવરણ (પાયથોન, CUDA, સિસ્ટમ લિબ્સ)
એક સરળ અભિગમ જે કામ કરે છે:
-
મોડેલને રિલીઝ આર્ટિફેક્ટની જેમ વર્તવું
-
તેને વર્ઝન ટેગ સાથે સ્ટોર કરો
-
મોડેલ કાર્ડ-ઇશ મેટાડેટા ફાઇલની જરૂર છે: સ્કીમા, મેટ્રિક્સ, તાલીમ ડેટા સ્નેપશોટ નોંધો, જાણીતી મર્યાદાઓ (મોડેલ રિપોર્ટિંગ માટે મોડેલ કાર્ડ્સ)
કન્ટેનર મદદ કરે છે, પણ તેમની પૂજા ન કરો 🐳
કન્ટેનર ઉત્તમ છે કારણ કે તેઓ:
-
ફ્રીઝ ડિપેન્ડન્સીઝ (ડોકર: કન્ટેનર શું છે?)
-
બિલ્ડ્સને પ્રમાણિત કરો
-
ડિપ્લોયમેન્ટ લક્ષ્યોને સરળ બનાવો
પરંતુ તમારે હજુ પણ મેનેજ કરવાની જરૂર છે:
-
બેઝ ઇમેજ અપડેટ્સ
-
GPU ડ્રાઇવરો સુસંગતતા
-
સુરક્ષા સ્કેનિંગ
-
છબીનું કદ (કોઈને 9GB "હેલો વર્લ્ડ" પસંદ નથી) (ડોકર બિલ્ડ શ્રેષ્ઠ પ્રથાઓ)
ઇન્ટરફેસને માનક બનાવો
તમારા ઇનપુટ/આઉટપુટ ફોર્મેટનો નિર્ણય વહેલા કરો:
-
સરળતા માટે JSON (ધીમી, પરંતુ મૈત્રીપૂર્ણ) (JSON સ્કીમા)
-
પ્રદર્શન માટે પ્રોટોબફ (પ્રોટોકોલ બફર્સ ઝાંખી)
-
છબીઓ/ઓડિયો માટે ફાઇલ-આધારિત પેલોડ્સ (વત્તા મેટાડેટા)
અને કૃપા કરીને ઇનપુટ્સ માન્ય કરો. અમાન્ય ઇનપુટ્સ "તે બકવાસ ટિકિટો કેમ પરત કરી રહ્યું છે" તેનું મુખ્ય કારણ છે. (OpenAPI: OpenAPI શું છે?, JSON સ્કીમા)
૫) સર્વિંગ વિકલ્પો - "સરળ API" થી પૂર્ણ મોડેલ સર્વર્સ સુધી 🧰
બે સામાન્ય રસ્તાઓ છે:
વિકલ્પ A: એપ સર્વર + ઇન્ફરન્સ કોડ (ફાસ્ટએપીઆઈ-શૈલીનો અભિગમ) 🧪
તમે એક API લખો છો જે મોડેલ લોડ કરે છે અને આગાહીઓ પરત કરે છે. (FastAPI)
ગુણ:
-
કસ્ટમાઇઝ કરવા માટે સરળ
-
સરળ મોડેલો અથવા પ્રારંભિક તબક્કાના ઉત્પાદનો માટે ઉત્તમ
-
સરળ પ્રમાણીકરણ, રૂટીંગ અને એકીકરણ
વિપક્ષ:
-
તમારી પાસે પર્ફોર્મન્સ ટ્યુનિંગ (બેચિંગ, થ્રેડીંગ, GPU ઉપયોગ) છે
-
તમે કેટલાક વ્હીલ્સ ફરીથી શોધશો, કદાચ શરૂઆતમાં ખરાબ રીતે
વિકલ્પ B: મોડેલ સર્વર (ટોર્ચસર્વ / ટ્રાઇટોન-શૈલીનો અભિગમ) 🏎️
વિશિષ્ટ સર્વર્સ જે હેન્ડલ કરે છે:
-
બેચિંગ (ટ્રાઇટોન: ડાયનેમિક બેચિંગ અને સમવર્તી મોડેલ એક્ઝેક્યુશન)
-
સહવર્તી (ટ્રાઇટોન: સમવર્તી મોડેલ એક્ઝેક્યુશન)
-
બહુવિધ મોડેલો
-
GPU કાર્યક્ષમતા
-
પ્રમાણિત અંતિમ બિંદુઓ (ટોર્ચસર્વ દસ્તાવેજો, ટ્રાઇટોન ઇન્ફરન્સ સર્વર દસ્તાવેજો)
ગુણ:
-
બોક્સની બહાર વધુ સારા પ્રદર્શન પેટર્ન
-
સેવા અને વ્યવસાય તર્ક વચ્ચે સ્વચ્છ વિભાજન
વિપક્ષ:
-
વધારાની કાર્યકારી જટિલતા
-
ગોઠવણી... અસ્પષ્ટ લાગે છે, જેમ કે શાવરનું તાપમાન ગોઠવવું
હાઇબ્રિડ પેટર્ન ખૂબ જ સામાન્ય છે:
-
અનુમાન માટે મોડેલ સર્વર (ટ્રાઇટોન: ડાયનેમિક બેચિંગ)
-
પ્રમાણીકરણ, વિનંતી આકાર આપવા, વ્યવસાય નિયમો અને દર મર્યાદા માટે પાતળો API ગેટવે (API ગેટવે થ્રોટલિંગ)
૬) સરખામણી કોષ્ટક - ઉપયોગ કરવાની લોકપ્રિય રીતો (પ્રામાણિક ભાવનાઓ સાથે) 📊😌
AI મોડેલ્સ કેવી રીતે જમાવવા તે શોધવા માટે લોકો ખરેખર કયા વિકલ્પોનો ઉપયોગ કરે છે તેનો વ્યવહારુ સ્નેપશોટ નીચે આપેલ છે .
| સાધન / અભિગમ | પ્રેક્ષક | કિંમત | તે કેમ કામ કરે છે |
|---|---|---|---|
| ડોકર + ફાસ્ટએપીઆઈ (અથવા સમાન) | નાની ટીમો, સ્ટાર્ટઅપ્સ | મુક્ત-પ્રેમી | સરળ, લવચીક, ઝડપી શિપિંગ - તમે દરેક સ્કેલિંગ સમસ્યાને "અનુભવશો" (ડોકર, ફાસ્ટએપીઆઈ) |
| કુબરનેટ્સ (DIY) | પ્લેટફોર્મ ટીમો | ઇન્ફ્રા-ડિપેન્ડન્ટ | નિયંત્રણ + માપનીયતા… ઉપરાંત, ઘણા બધા નોબ્સ, જેમાંથી કેટલાક શાપિત (કુબર્નેટ્સ HPA) |
| મેનેજ્ડ ML પ્લેટફોર્મ (ક્લાઉડ ML સેવા) | ઓછી ઑપ્સ ઇચ્છતી ટીમો | જેમ જેમ ચૂકવણી કરો તેમ તેમ ચૂકવો | બિલ્ટ-ઇન ડિપ્લોયમેન્ટ વર્કફ્લો, મોનિટરિંગ હુક્સ - ક્યારેક હંમેશા-ચાલુ એન્ડપોઇન્ટ્સ માટે મોંઘા હોય છે (વર્ટેક્સ AI ડિપ્લોયમેન્ટ, સેજમેકર રીઅલ-ટાઇમ ઇન્ફરન્સ) |
| સર્વરલેસ ફંક્શન્સ (હળવા અનુમાન માટે) | ઇવેન્ટ-આધારિત એપ્લિકેશનો | ઉપયોગ દીઠ ચૂકવણી કરો | સ્પાઇકવાળા ટ્રાફિક માટે ઉત્તમ - પણ કોલ્ડ સ્ટાર્ટ અને મોડેલનું કદ તમારો દિવસ બગાડી શકે છે 😬 (AWS લેમ્બડા કોલ્ડ સ્ટાર્ટ) |
| NVIDIA ટ્રાઇટોન ઇન્ફરન્સ સર્વર | પ્રદર્શન-કેન્દ્રિત ટીમો | મફત સોફ્ટવેર, ઇન્ફ્રાસ્ટ્રક્ચર ખર્ચ | ઉત્તમ GPU ઉપયોગ, બેચિંગ, મલ્ટી-મોડેલ - રૂપરેખા ધીરજ લે છે (ટ્રાઇટોન: ડાયનેમિક બેચિંગ) |
| ટોર્ચસર્વ | પાયટોર્ચ-ભારે ટીમો | મફત સોફ્ટવેર | યોગ્ય ડિફોલ્ટ સર્વિંગ પેટર્ન - ઉચ્ચ સ્કેલ માટે ટ્યુનિંગની જરૂર પડી શકે છે (ટોર્ચસર્વ દસ્તાવેજો) |
| બેન્ટોએમએલ (પેકેજિંગ + સર્વિંગ) | એમએલ એન્જિનિયર્સ | મફત કોર, વધારાના બદલાય છે | સરળ પેકેજિંગ, સરસ ડેવલપર અનુભવ - તમારે હજુ પણ ઇન્ફ્રા પસંદગીઓની જરૂર છે (ડિપ્લોયમેન્ટ માટે બેન્ટોએમએલ પેકેજિંગ) |
| રે સર્વ | વિતરિત સિસ્ટમ્સ મિત્રો | ઇન્ફ્રા-ડિપેન્ડન્ટ | આડા ભીંગડા, પાઇપલાઇન માટે સારું - નાના પ્રોજેક્ટ્સ માટે "મોટું" લાગે છે (રે સર્વ દસ્તાવેજો) |
કોષ્ટક નોંધ: "ફ્રી-ઇશ" એ વાસ્તવિક જીવનની પરિભાષા છે. કારણ કે તે ક્યારેય મફત નથી હોતી. હંમેશા ક્યાંકને ક્યાંક બિલ તો આવે જ છે, ભલે તે તમારી ઊંઘ હોય. 😴
૭) પ્રદર્શન અને સ્કેલિંગ - લેટન્સી, થ્રુપુટ અને સત્ય 🏁
પ્રદર્શન ટ્યુનિંગ એ એવી જગ્યા છે જ્યાં ડિપ્લોયમેન્ટ એક કારીગરી બની જાય છે. ધ્યેય "ઝડપી" નથી. ધ્યેય સતત પૂરતો ઝડપી.
મહત્વપૂર્ણ મેટ્રિક્સ
-
p50 લેટન્સી: લાક્ષણિક વપરાશકર્તા અનુભવ
-
p95 / p99 લેટન્સી: ધ રેજ-ઇન્ડ્યુસિંગ ટેઇલ (ધ ટેઇલ એટ સ્કેલ, SRE બુક: મોનિટરિંગ ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ)
-
થ્રુપુટ: પ્રતિ સેકન્ડ વિનંતીઓ (અથવા જનરેટિવ મોડેલો માટે પ્રતિ સેકન્ડ ટોકન્સ)
-
ભૂલ દર: સ્પષ્ટ, પરંતુ હજુ પણ ક્યારેક અવગણવામાં આવે છે
-
સંસાધન ઉપયોગ: CPU, GPU, મેમરી, VRAM (SRE બુક: મોનિટરિંગ ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ)
ખેંચવા માટે સામાન્ય લિવર
-
બેચિંગ
GPU ઉપયોગને મહત્તમ કરવા માટે વિનંતીઓને જોડો. થ્રુપુટ માટે ઉત્તમ, જો તમે તેને વધુ પડતું કરો છો તો લેટન્સીને નુકસાન પહોંચાડી શકે છે. (ટ્રાઇટોન: ડાયનેમિક બેચિંગ) -
ક્વોન્ટાઇઝેશન
ઓછી ચોકસાઇ (જેમ કે INT8) અનુમાનને ઝડપી બનાવી શકે છે અને યાદશક્તિ ઘટાડી શકે છે. ચોકસાઈ થોડી ઓછી કરી શકે છે. ક્યારેક નહીં, આશ્ચર્યજનક રીતે. (તાલીમ પછીનું ક્વોન્ટાઇઝેશન) -
કમ્પાઇલેશન / ઑપ્ટિમાઇઝેશન
ONNX નિકાસ, ગ્રાફ ઑપ્ટિમાઇઝર્સ, TensorRT જેવા ફ્લો. શક્તિશાળી, પરંતુ ડિબગીંગ મસાલેદાર બની શકે છે 🌶️ (ONNX, ONNX રનટાઇમ મોડેલ ઑપ્ટિમાઇઝેશન) -
કેશીંગ
જો ઇનપુટ પુનરાવર્તિત થાય (અથવા તમે એમ્બેડિંગ્સને કેશ કરી શકો છો), તો તમે ઘણું બચાવી શકો છો. -
CPU/GPU ઉપયોગ, કતાર ઊંડાઈ, અથવા વિનંતી દર પર ઓટોસ્કેલિંગ સ્કેલ. કતાર ઊંડાઈ ઓછી આંકવામાં આવી છે. ( કુબર્નેટ્સ HPA )
એક વિચિત્ર પણ સાચી ટિપ: ઉત્પાદન જેવા પેલોડ કદથી માપો. નાના ટેસ્ટ પેલોડ તમને જૂઠું બોલે છે. તેઓ નમ્રતાથી સ્મિત કરે છે અને પછીથી તમને દગો આપે છે.
૮) દેખરેખ અને અવલોકનક્ષમતા - આંધળા ન બનો 👀📈
મોડેલ મોનિટરિંગ ફક્ત અપટાઇમ મોનિટરિંગ નથી. તમારે જાણવાની જરૂર છે કે શું:
-
સેવા સ્વસ્થ છે
-
મોડેલ વર્તન કરી રહ્યું છે
-
ડેટા ભટકી રહ્યો છે
-
આગાહીઓ ઓછી વિશ્વસનીય બની રહી છે (વર્ટેક્સ એઆઈ મોડેલ મોનિટરિંગ ઝાંખી, એમેઝોન સેજમેકર મોડેલ મોનિટર)
શું મોનિટર કરવું (ન્યૂનતમ વ્યવહાર્ય સેટ)
સેવા આરોગ્ય
-
વિનંતી ગણતરી, ભૂલ દર, વિલંબતા વિતરણો (SRE બુક: મોનિટરિંગ ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ)
-
સંતૃપ્તિ (CPU/GPU/મેમરી)
-
કતારની લંબાઈ અને કતારમાં સમય
મોડેલ વર્તન
-
ઇનપુટ સુવિધા વિતરણો (મૂળભૂત આંકડા)
-
એમ્બેડિંગ ધોરણો (એમ્બેડિંગ મોડેલો માટે)
-
આઉટપુટ વિતરણો (વિશ્વાસ, વર્ગ મિશ્રણ, સ્કોર શ્રેણીઓ)
-
ઇનપુટ્સ પર અસંગતતા શોધ (કચરો અંદર, કચરો બહાર)
ડેટા ડ્રિફ્ટ અને કોન્સેપ્ટ ડ્રિફ્ટ
-
ડ્રિફ્ટ ચેતવણીઓ કાર્યક્ષમ હોવી જોઈએ (વર્ટેક્સ એઆઈ: મોનિટર ફીચર સ્ક્યુ એન્ડ ડ્રિફ્ટ, એમેઝોન સેજમેકર મોડેલ મોનિટર)
-
ચેતવણી સ્પામ ટાળો - તે લોકોને બધું અવગણવાનું શીખવે છે
લોગિંગ, પણ "લોગ એવરીથિંગ ફોરેવર" અભિગમ નહીં 🪵
લોગ:
-
વિનંતી ID
-
મોડેલ વર્ઝન
-
સ્કીમા માન્યતા પરિણામો (OpenAPI: OpenAPI શું છે?)
-
ન્યૂનતમ સ્ટ્રક્ચર્ડ પેલોડ મેટાડેટા (કાચો PII નહીં) (NIST SP 800-122)
ગોપનીયતા પ્રત્યે સાવધ રહો. તમે નથી ઇચ્છતા કે તમારા લોગ તમારા ડેટા લીક બને. (NIST SP 800-122)
9) CI/CD અને રોલઆઉટ વ્યૂહરચનાઓ - મોડેલોને વાસ્તવિક રિલીઝની જેમ ગણો 🧱🚦
જો તમને વિશ્વસનીય ડિપ્લોયમેન્ટ જોઈતી હોય, તો પાઇપલાઇન બનાવો. ભલે તે સરળ હોય.
એક મજબૂત પ્રવાહ
-
પ્રીપ્રોસેસિંગ અને પોસ્ટપ્રોસેસિંગ માટે એકમ પરીક્ષણો
-
જાણીતા ઇનપુટ-આઉટપુટ "ગોલ્ડન સેટ" સાથે એકીકરણ પરીક્ષણ
-
લોડ ટેસ્ટ બેઝલાઇન (હળવા વજનવાળા પણ)
-
બિલ્ડ આર્ટિફેક્ટ (કન્ટેનર + મોડેલ) (ડોકર બિલ્ડ શ્રેષ્ઠ પ્રથાઓ)
-
સ્ટેજીંગ પર જમાવો
-
ટ્રાફિકના નાના ટુકડા માટે કેનેરી રિલીઝ (કેનેરી રિલીઝ)
-
ધીમે ધીમે વધારો
-
કી થ્રેશોલ્ડ પર ઓટોમેટિક રોલબેક (બ્લુ-ગ્રીન ડિપ્લોયમેન્ટ)
તમારી સમજશક્તિ બચાવતી પેટર્ન રજૂ કરો
-
કેનેરી: પહેલા 1-5% ટ્રાફિક સુધી રિલીઝ કરો (કેનેરી રિલીઝ)
-
બ્લુ-ગ્રીન: જૂના વર્ઝનની સાથે નવું વર્ઝન ચલાવો, તૈયાર થાય ત્યારે ફ્લિપ કરો (બ્લુ-ગ્રીન ડિપ્લોયમેન્ટ)
-
શેડો ટેસ્ટિંગ: નવા મોડેલ પર વાસ્તવિક ટ્રાફિક મોકલો પરંતુ પરિણામોનો ઉપયોગ કરશો નહીં (મૂલ્યાંકન માટે ઉત્તમ) (માઈક્રોસોફ્ટ: શેડો ટેસ્ટિંગ)
અને તમારા એન્ડપોઇન્ટ્સ અથવા રૂટને મોડેલ વર્ઝન દ્વારા વર્ઝન કરો. ભવિષ્યમાં તમે તમારો આભાર માનશો. વર્તમાનમાં તમે પણ તમારો આભાર માનશો, પરંતુ શાંતિથી.
૧૦) સુરક્ષા, ગોપનીયતા, અને "કૃપા કરીને વસ્તુઓ લીક કરશો નહીં" 🔐🙃
સુરક્ષાકર્મીઓ સામાન્ય રીતે મોડા પહોંચે છે, જેમ કે કોઈ બિનઆમંત્રિત મહેમાન. તેમને વહેલા આમંત્રણ આપવું વધુ સારું છે.
વ્યવહારુ ચેકલિસ્ટ
-
પ્રમાણીકરણ અને અધિકૃતતા (મોડેલને કોણ કૉલ કરી શકે છે?)
-
દર મર્યાદા (દુરુપયોગ અને આકસ્મિક તોફાનો સામે રક્ષણ) (API ગેટવે થ્રોટલિંગ)
-
સિક્રેટ્સ મેનેજમેન્ટ (કોડમાં કોઈ કી નથી, રૂપરેખા ફાઇલોમાં પણ કોઈ કી નથી...) (AWS સિક્રેટ્સ મેનેજર, કુબર્નેટ્સ સિક્રેટ્સ)
-
નેટવર્ક નિયંત્રણો (ખાનગી સબનેટ, સેવા-થી-સેવા નીતિઓ)
-
ઓડિટ લોગ (ખાસ કરીને સંવેદનશીલ આગાહીઓ માટે)
-
ડેટા ન્યૂનતમકરણ (ફક્ત તે જ સ્ટોર કરો જે તમારે કરવું જોઈએ) (NIST SP 800-122)
જો મોડેલ વ્યક્તિગત ડેટાને સ્પર્શે છે:
-
રીડેક્ટ અથવા હેશ ઓળખકર્તાઓ
-
કાચા પેલોડ્સને લોગ કરવાનું ટાળો (NIST SP 800-122)
-
જાળવણી નિયમો વ્યાખ્યાયિત કરો
-
દસ્તાવેજ ડેટા પ્રવાહ (કંટાળાજનક, પરંતુ રક્ષણાત્મક)
ઉપરાંત, જનરેટિવ મોડેલ્સ માટે પ્રોમ્પ્ટ ઇન્જેક્શન અને આઉટપુટ દુરુપયોગ મહત્વપૂર્ણ હોઈ શકે છે. ઉમેરો: (LLM એપ્લિકેશન્સ માટે OWASP ટોપ 10, OWASP: પ્રોમ્પ્ટ ઇન્જેક્શન)
-
ઇનપુટ સેનિટાઇઝેશન નિયમો
-
જ્યાં યોગ્ય હોય ત્યાં આઉટપુટ ફિલ્ટરિંગ
-
ટૂલ કોલિંગ અથવા ડેટાબેઝ ક્રિયાઓ માટે ગાર્ડરેલ્સ
કોઈ પણ સિસ્ટમ સંપૂર્ણ નથી હોતી, પરંતુ તમે તેને ઓછી નાજુક બનાવી શકો છો.
૧૧) સામાન્ય મુશ્કેલીઓ (જેને સામાન્ય ફાંસો પણ કહેવાય છે) 🪤
અહીં ક્લાસિક્સ છે:
-
તાલીમ-સેવા આપતી સ્કીવ
પ્રીપ્રોસેસિંગ તાલીમ અને ઉત્પાદન વચ્ચે તફાવત ધરાવે છે. અચાનક ચોકસાઈ ઘટી જાય છે અને કોઈને ખબર નથી હોતી કે શા માટે. (ટેન્સરફ્લો ડેટા વેલિડેશન: તાલીમ-સેવા આપતી સ્કીવ શોધો) -
કોઈ સ્કીમા માન્યતા નથી
એક અપસ્ટ્રીમ ફેરફાર બધું તોડી નાખે છે. હંમેશા મોટેથી પણ નહીં... (JSON સ્કીમા, OpenAPI: OpenAPI શું છે?) -
જ્યારે વપરાશકર્તાઓ ગુસ્સે હોય છે ત્યારે ટેલ લેટન્સી p99 ને અવગણીને રહે છે. ( ધ ટેઇલ એટ સ્કેલ )
-
ખર્ચ ભૂલી જવું
એ નિષ્ક્રિય ચાલી રહ્યું છે એ તમારા ઘરની દરેક લાઇટ ચાલુ રાખવા જેવું છે, પરંતુ લાઇટ બલ્બ પૈસાથી બનેલા છે. -
કોઈ રોલબેક યોજના નથી
"આપણે ફક્ત ફરીથી જમાવટ કરીશું" એ કોઈ યોજના નથી. તે ટ્રેન્ચ કોટ પહેરીને આશા છે. (બ્લુ-લીલો જમાવટ) -
ફક્ત અપટાઇમ મોનિટરિંગ
જ્યારે મોડેલ ખોટું હોય ત્યારે સેવા ચાલુ હોઈ શકે છે. તે કદાચ વધુ ખરાબ છે. (વર્ટેક્સ એઆઈ: મોનિટર ફીચર સ્ક્યુ અને ડ્રિફ્ટ, એમેઝોન સેજમેકર મોડેલ મોનિટર)
જો તમે આ વાંચી રહ્યા છો અને વિચારી રહ્યા છો કે "હા, આપણે બે કરીશું," તો ક્લબમાં આપનું સ્વાગત છે. ક્લબમાં નાસ્તો અને હળવો તણાવ છે. 🍪
૧૨) નિષ્કર્ષ - મન ગુમાવ્યા વિના AI મોડેલ્સ કેવી રીતે ઉપયોગમાં લેવા 😄✅
ડિપ્લોયિંગ એ એવી જગ્યા છે જ્યાં AI એક વાસ્તવિક ઉત્પાદન બને છે. તે આકર્ષક નથી, પરંતુ તે એવી જગ્યા છે જ્યાં વિશ્વાસ કમાય છે.
ઝડપી રીકેપ
-
પહેલા તમારી ડિપ્લોયમેન્ટ પેટર્ન નક્કી કરો (રીઅલ-ટાઇમ, બેચ, સ્ટ્રીમિંગ, એજ) 🧭 (એમેઝોન સેજમેકર બેચ ટ્રાન્સફોર્મ, ક્લાઉડ ડેટાફ્લો સ્ટ્રીમિંગ મોડ્સ, LiterRT ઓન-ડિવાઇસ ઇન્ફરન્સ)
-
પ્રજનનક્ષમતા માટે પેકેજ (બધું સંસ્કરણ, જવાબદારીપૂર્વક કન્ટેનરાઇઝ કરો) 📦 (ડોકર કન્ટેનર)
-
કામગીરીની જરૂરિયાતોના આધારે સેવા આપવાની વ્યૂહરચના પસંદ કરો (સરળ API વિરુદ્ધ મોડેલ સર્વર) 🧰 (ફાસ્ટએપીઆઈ, ટ્રાઇટોન: ડાયનેમિક બેચિંગ)
-
p95/p99 લેટન્સી માપો, ફક્ત સરેરાશ જ નહીં 🏁 (ધ ટેઈલ એટ સ્કેલ)
-
સેવા સ્વાસ્થ્ય અને મોડેલ વર્તણૂક માટે દેખરેખ ઉમેરો 👀 (SRE બુક: ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સનું નિરીક્ષણ, વર્ટેક્ષ AI મોડેલ દેખરેખ)
-
કેનેરી અથવા વાદળી-લીલા રંગથી સુરક્ષિત રીતે રોલઆઉટ કરો, અને રોલબેકને સરળ રાખો 🚦 (કેનેરી રિલીઝ, વાદળી-લીલો ડિપ્લોયમેન્ટ)
-
પહેલા દિવસથી જ સુરક્ષા અને ગોપનીયતાનો આનંદ માણો 🔐 (AWS સિક્રેટ્સ મેનેજર, NIST SP 800-122)
-
કંટાળાજનક, અનુમાનિત અને દસ્તાવેજીકૃત રાખો - કંટાળાજનક સુંદર છે 😌
અને હા, AI મોડેલ્સ કેવી રીતે જમાવવું શરૂઆતમાં તો જ્વલંત બોલિંગ બોલ્સને જગલિંગ કરવા જેવું લાગે છે. પરંતુ એકવાર તમારી પાઇપલાઇન સ્થિર થઈ જાય, પછી તે વિચિત્ર રીતે સંતોષકારક બને છે. જાણે આખરે એક અવ્યવસ્થિત ડ્રોઅર ગોઠવી રહ્યા હોય... ફક્ત ડ્રોઅર જ ઉત્પાદન ટ્રાફિક છે.
વાસ્તવિક દુનિયાનું ઉદાહરણ: સપોર્ટ ટિકિટ ટ્રાયજ મોડેલનો ઉપયોગ કરવો
દૃશ્ય
એક કાલ્પનિક પણ વાસ્તવિક SaaS કંપનીની કલ્પના કરો જેમાં 12 સપોર્ટ એજન્ટો અને દર અઠવાડિયે લગભગ 900 ગ્રાહક ટિકિટો હોય. ટીમ એક AI મોડેલ ઇચ્છે છે જે આવનારી ટિકિટોને શ્રેણી, તાકીદ અને માનવ એજન્ટ જવાબ આપે તે પહેલાં રૂટિંગ સૂચવશે.
આ સંપૂર્ણપણે ઓટોમેટેડ સપોર્ટ બોટ નથી. આ મોડેલ ગ્રાહકોને જવાબો મોકલતું નથી. તે ફક્ત ટિકિટોને ઝડપી રૂટ કરવામાં, જોખમી કેસોને ઓળખવામાં અને એજન્ટોને વધુ સ્વચ્છ શરૂઆત બિંદુ આપવામાં મદદ કરે છે.
અહીં શ્રેષ્ઠ ડિપ્લોયમેન્ટ પેટર્ન સામાન્ય રીતે રીઅલ-ટાઇમ API ઇન્ફરન્સ. દરેક નવી ટિકિટ હેલ્પડેસ્કમાં પ્રવેશે છે, AI સેવા તેને થોડાક મિલિસેકન્ડમાં સ્કોર કરે છે, અને હેલ્પડેસ્ક આગાહી કરેલ શ્રેણી, પ્રાથમિકતા, આત્મવિશ્વાસ સ્કોર અને મોડેલ સંસ્કરણ સંગ્રહિત કરે છે.
સહાયકને શું જોઈએ છે
મદદરૂપ ઇનપુટ્સ:
ટિકિટ વિષય
ટિકિટ બોડી
ગ્રાહક યોજનાનો પ્રકાર
એકાઉન્ટ પ્રદેશ
ઉત્પાદન ક્ષેત્ર, જો પહેલાથી જ જાણીતું હોય તો
છેલ્લા ૩૦ દિવસમાં અગાઉની ટિકિટની સંખ્યા
ઉપયોગી નિયમો:
જો ગ્રાહકના કાચા સંદેશાઓમાં વ્યક્તિગત ડેટા હોય તો ક્યારેય લોગ ન કરો
બિલિંગ વિવાદો, કાનૂની ધમકીઓ, એકાઉન્ટ કાઢી નાખવાની વિનંતીઓ અને સુરક્ષા સમસ્યાઓ માનવ સમીક્ષા માટે મોકલો
જ્યારે કોન્ફિડન્સ નિર્ધારિત થ્રેશોલ્ડથી ઉપર હોય, જેમ કે 0.85, ત્યારે જ ઓટો-રૂટ કરો
દરેક આગાહી સાથે મોડેલ વર્ઝન સ્ટોર કરો
જો મોડેલ સેવા ધીમી હોય અથવા અનુપલબ્ધ હોય તો મેન્યુઅલ ટ્રાયજ પર પાછા ફરો
ઉદાહરણ સૂચના
તમે સપોર્ટ ટિકિટ ટ્રાયજ આસિસ્ટન્ટ છો. દરેક ટિકિટને એક શ્રેણીમાં વર્ગીકૃત કરો: બિલિંગ, લોગિન, બગ રિપોર્ટ, ફીચર વિનંતી, એકાઉન્ટ રદ કરવું, સુરક્ષા અથવા અન્ય.
શ્રેણી, તાકીદનું સ્તર, આત્મવિશ્વાસ સ્કોર, ટૂંકું કારણ અને ભલામણ કરેલ સપોર્ટ કતાર પરત કરો.
ખૂટતી હકીકતો શોધશો નહીં. જો ટિકિટમાં કાનૂની, સુરક્ષા, ચુકવણી નિષ્ફળતા, એકાઉન્ટ કાઢી નાખવા અથવા ગુસ્સે ભરેલી ગ્રાહક ભાષાનો સમાવેશ થાય છે, તો તેને માનવ સમીક્ષા માટે ચિહ્નિત કરો.
જો કોન્ફિડન્સ 0.85 થી નીચે હોય, તો ભલામણ કરેલ કતાર તરીકે "મેન્યુઅલ રિવ્યૂ" પરત કરો.
ઉદાહરણ આઉટપુટ
નબળું આઉટપુટ:
શ્રેણી: બગ
પ્રાધાન્યતા: ઉચ્ચ
સપોર્ટ પર મોકલો.
વધુ સારું આઉટપુટ:
શ્રેણી: લોગિન
તાકીદ: મધ્યમ
વિશ્વાસ: 0.91
ભલામણ કરેલ કતાર: એકાઉન્ટ ઍક્સેસ
કારણ: ગ્રાહક પોતાનો પાસવર્ડ રીસેટ કર્યા પછી તેમના એકાઉન્ટને ઍક્સેસ કરી શકતો નથી. કોઈ સુરક્ષા ખતરો અથવા ચુકવણી સમસ્યાનો ઉલ્લેખ નથી.
માનવ સમીક્ષા જરૂરી: કોઈ
મોડેલ સંસ્કરણ નહીં: ticket-triage-v1.3
વધુ સારું આઉટપુટ ઓડિટ કરવું સરળ છે કારણ કે તેમાં કોન્ફિડન્સ સ્કોર, રૂટીંગ નિર્ણય, કારણ અને મોડેલ વર્ઝનનો સમાવેશ થાય છે.
તેનું પરીક્ષણ કેવી રીતે કરવું
મોડેલ પર લાઇવ ટ્રાફિક મોકલતા પહેલા, વાસ્તવિક પરંતુ અનામી ટિકિટોનો એક નાનો "ગોલ્ડન સેટ" બનાવો.
એક સરળ પરીક્ષણ સમૂહમાં શામેલ હોઈ શકે છે:
૫૦ બિલિંગ ટિકિટ
૫૦ લોગિન ટિકિટ
50 બગ રિપોર્ટ્સ
૩૦ રદ કરવાની વિનંતીઓ
સુરક્ષા-સંવેદનશીલ 20 ટિકિટો
20 ગૂંચવણભરી અથવા મિશ્ર-શ્રેણી ટિકિટો
પછી તપાસો:
શું મોડેલ માનવ સમીક્ષક જેવી જ શ્રેણી પસંદ કરે છે?
શું તે સુરક્ષા, કાનૂની અને રદ કરાયેલી ટિકિટોને યોગ્ય રીતે વધારે છે?
જ્યારે આત્મવિશ્વાસ ઓછો હોય ત્યારે શું તે "મેન્યુઅલ રિવ્યૂ" પરત કરે છે?
શું p95 લેટન્સી ટીમના લક્ષ્ય હેઠળ રહે છે?
શું મોડેલ ઉપલબ્ધ ન હોય ત્યારે સેવા સુરક્ષિત રીતે નિષ્ફળ જાય છે?
રોલઆઉટ માટે, પહેલા શેડો ટેસ્ટિંગનો ઉપયોગ કરો. નવા મોડેલને વાસ્તવિક ટિકિટ મોકલો, પરંતુ તેના અનુમાનનો ઉપયોગ કરશો નહીં. થોડા દિવસો માટે તેના આઉટપુટની તુલના સામાન્ય માનવ ટ્રાયજ સાથે કરો. જો પરિણામો સ્થિર હોય, તો 5% કેનેરી રિલીઝ, પછી 25%, પછી 100% પર જાઓ.
પરિણામ
વર્કફ્લોનો ઉપયોગ કરતા પહેલા અને પછી 100 નમૂના ટિકિટના સમયના આધારે ઉદાહરણરૂપ પરિણામ:
મેન્યુઅલ ટ્રાયેજ સમય પ્રતિ ટિકિટ 6 મિનિટથી ઘટીને 1 મિનિટ 40 સેકન્ડ થયો
ટીમે ૧૦૦ ટિકિટોમાં લગભગ ૭.૨ કલાક બચાવ્યા
220-ટિકિટ ગોલ્ડન સેટમાં માનવ સમીક્ષક સાથે શ્રેણી કરાર 87% હતો
સુરક્ષા-સંવેદનશીલ 20 ટેસ્ટ ટિકિટોમાંથી 100% માનવ સમીક્ષા માટે મોકલવામાં આવી હતી
ઉત્પાદન જેવા પેલોડ્સ પર p95 લેટન્સી 480 ms હતી
p99 લેટન્સી 910 ms હતી
રોલબેક સમય 2 મિનિટથી ઓછો હતો કારણ કે કેનેરી રિલીઝ દરમિયાન જૂનું મોડેલ એન્ડપોઇન્ટ લાઇવ રહ્યું હતું
આ સંખ્યાઓ સાર્વત્રિક બેન્ચમાર્ક નથી. તે એવા માપદંડોના ઉદાહરણો છે જે એક ટીમ ટ્રાયજ કાર્યોને સમય આપીને, લેબલવાળા ટેસ્ટ સેટ સામે આગાહીઓની તુલના કરીને અને વાસ્તવિક ટિકિટ પેલોડ્સ સાથે એન્ડપોઇન્ટનું લોડ-ટેસ્ટ કરીને પુનઃઉત્પાદન કરી શકે છે.
શું ખોટું થઈ શકે છે?
સૌથી મોટું જોખમ એ છે કે મોડેલ પર વધુ પડતો વિશ્વાસ કરવો. "ઓછી તાકીદ" તરીકે ચિહ્નિત થયેલ ટિકિટમાં હજુ પણ ગંભીર સુરક્ષા સમસ્યા શામેલ હોઈ શકે છે, ખાસ કરીને જો ગ્રાહક અસ્પષ્ટ રીતે લખે છે.
અન્ય સામાન્ય ભૂલો:
વાસ્તવિક ગ્રાહક ટિકિટ સાથે મેળ ખાતી ન હોય તેવી પોલિશ્ડ ટેસ્ટ ટિકિટોનો ઉપયોગ કરવો
વ્યક્તિગત ડેટા સાથે સંપૂર્ણ ગ્રાહક સંદેશાઓ લોગ કરવા
દરેક આગાહી સાથે મોડેલ સંસ્કરણ સંગ્રહિત ન કરવું
વિશ્વાસ ઓછો હોય ત્યારે પણ, દરેક ટિકિટને ઓટો-રૂટ કરવી
મેન્યુઅલ ફોલબેક કતાર ભૂલી જવું
સરેરાશ લેટન્સી માપવા પરંતુ p95 અને p99 ને અવગણીને
સપોર્ટ ટીમ દ્વારા કતાર બદલ્યા પછી જૂની શ્રેણીઓને મોડેલમાં રહેવા દેવી
વ્યવહારુ ઉપાય
સારી AI ડિપ્લોયમેન્ટ માટે મોટી શરૂઆત કરવાની જરૂર નથી. એક સાંકડી વર્કફ્લો, એક સ્પષ્ટ ઇન્ટરફેસ, એક ગોલ્ડન ટેસ્ટ સેટ અને એક સુરક્ષિત રોલબેક પાથથી શરૂઆત કરો. જો મોડેલ જોખમ છુપાવ્યા વિના સમય બચાવે છે, તો તમારી પાસે સ્કેલિંગ લાયક ડિપ્લોયમેન્ટ છે.
વારંવાર પૂછાતા પ્રશ્નો
ઉત્પાદનમાં AI મોડેલનો ઉપયોગ કરવાનો અર્થ શું છે?
AI મોડેલનો ઉપયોગ સામાન્ય રીતે આગાહી API ને ખુલ્લા પાડવા કરતાં ઘણું વધારે હોય છે. વ્યવહારમાં, તેમાં મોડેલ અને તેની નિર્ભરતાઓનું પેકેજિંગ, સર્વિંગ પેટર્ન (રીઅલ-ટાઇમ, બેચ, સ્ટ્રીમિંગ અથવા એજ) પસંદ કરવું, વિશ્વસનીયતા સાથે સ્કેલિંગ કરવું, આરોગ્ય અને ડ્રિફ્ટનું નિરીક્ષણ કરવું અને સુરક્ષિત રોલઆઉટ અને રોલબેક પાથ સેટ કરવાનો સમાવેશ થાય છે. એક મજબૂત ડિપ્લોયમેન્ટ લોડ હેઠળ અનુમાનિત રીતે સ્થિર રહે છે અને જ્યારે કંઈક ખોટું થાય છે ત્યારે નિદાન કરી શકાય છે.
રીઅલ-ટાઇમ, બેચ, સ્ટ્રીમિંગ અથવા એજ ડિપ્લોયમેન્ટ વચ્ચે કેવી રીતે પસંદગી કરવી
આગાહીઓ ક્યારે જરૂરી છે અને તમે કયા અવરોધો હેઠળ કાર્ય કરો છો તેના આધારે ડિપ્લોયમેન્ટ પેટર્ન પસંદ કરો. રીઅલ-ટાઇમ API ઇન્ટરેક્ટિવ અનુભવોને અનુરૂપ છે જ્યાં લેટન્સી મહત્વપૂર્ણ છે. જ્યારે વિલંબ સ્વીકાર્ય હોય અને ખર્ચ કાર્યક્ષમતા તરફ દોરી જાય ત્યારે બેચ સ્કોરિંગ શ્રેષ્ઠ કાર્ય કરે છે. સ્ટ્રીમિંગ સતત ઇવેન્ટ પ્રોસેસિંગને અનુકૂળ આવે છે, ખાસ કરીને જ્યારે ડિલિવરી સિમેન્ટિક્સ કાંટાળા થઈ જાય છે. એજ ડિપ્લોયમેન્ટ ઑફલાઇન કામગીરી, ગોપનીયતા અથવા અલ્ટ્રા-લો-લેટન્સી આવશ્યકતાઓ માટે આદર્શ છે, જોકે અપડેટ્સ અને હાર્ડવેર વિવિધતાનું સંચાલન કરવું મુશ્કેલ બની જાય છે.
"મારા લેપટોપ પર કામ કરે છે" ડિપ્લોયમેન્ટ નિષ્ફળતાઓ ટાળવા માટે કયું વર્ઝન કરવું
મોડેલના વજન કરતાં સંસ્કરણ વધુ મહત્વનું છે. સામાન્ય રીતે, તમારે એક સંસ્કરણિત મોડેલ આર્ટિફેક્ટ (ટોકનાઇઝર્સ અથવા લેબલ નકશા સહિત), પ્રીપ્રોસેસિંગ અને ફીચર લોજિક, ઇન્ફરન્સ કોડ અને સંપૂર્ણ રનટાઇમ પર્યાવરણ (પાયથોન/CUDA/સિસ્ટમ લાઇબ્રેરીઓ) જોઈશે. મોડેલને ટેગ કરેલા સંસ્કરણો અને સ્કીમા અપેક્ષાઓ, મૂલ્યાંકન નોંધો અને જાણીતી મર્યાદાઓનું વર્ણન કરતા હળવા મેટાડેટા સાથે રિલીઝ આર્ટિફેક્ટ તરીકે ગણો.
સરળ FastAPI-શૈલી સેવા સાથે જમાવવું કે સમર્પિત મોડેલ સર્વર સાથે
એક સરળ એપ સર્વર (ફાસ્ટએપીઆઈ-શૈલીનો અભિગમ) શરૂઆતના ઉત્પાદનો અથવા સીધા મોડેલો માટે સારી રીતે કામ કરે છે કારણ કે તમે રૂટીંગ, પ્રમાણીકરણ અને એકીકરણ પર નિયંત્રણ જાળવી રાખો છો. એક મોડેલ સર્વર (ટોર્ચસર્વ અથવા NVIDIA ટ્રાઇટોન-શૈલી) મજબૂત બેચિંગ, કોનકરન્સી અને GPU કાર્યક્ષમતા પ્રદાન કરી શકે છે. ઘણી ટીમો હાઇબ્રિડ પર ઉતરે છે: અનુમાન માટે એક મોડેલ સર્વર અને પ્રમાણીકરણ, વિનંતી આકાર અને દર મર્યાદા માટે પાતળું API સ્તર.
ચોકસાઈ તોડ્યા વિના લેટન્સી અને થ્રુપુટ કેવી રીતે સુધારવું
વાસ્તવિક પેલોડ્સ સાથે ઉત્પાદન જેવા હાર્ડવેર પર p95/p99 લેટન્સી માપીને શરૂઆત કરો, કારણ કે નાના પરીક્ષણો ગેરમાર્ગે દોરી શકે છે. સામાન્ય લિવરમાં બેચિંગ (વધુ સારું થ્રુપુટ, સંભવિત રીતે ખરાબ લેટન્સી), ક્વોન્ટાઇઝેશન (નાનું અને ઝડપી, ક્યારેક સામાન્ય ચોકસાઈ ટ્રેડ-ઓફ સાથે), કમ્પાઇલેશન અને ઑપ્ટિમાઇઝેશન ફ્લો (ONNX/TensorRT-જેવું), અને પુનરાવર્તિત ઇનપુટ્સ અથવા એમ્બેડિંગ્સ કેશિંગનો સમાવેશ થાય છે. કતાર ઊંડાઈ પર આધારિત ઓટોસ્કેલિંગ પણ ટેઇલ લેટન્સીને ઉપર તરફ જતા અટકાવી શકે છે.
"એન્ડપોઇન્ટ ઉપર છે" ઉપરાંત કયા મોનિટરિંગની જરૂર છે?
અપટાઇમ પૂરતો નથી, કારણ કે આગાહી ગુણવત્તામાં ઘટાડો થાય છે ત્યારે સેવા સ્વસ્થ દેખાઈ શકે છે. ઓછામાં ઓછું, વિનંતી વોલ્યુમ, ભૂલ દર અને લેટન્સી વિતરણો, તેમજ CPU/GPU/મેમરી અને કતાર સમય જેવા સંતૃપ્તિ સંકેતોનું નિરીક્ષણ કરો. મોડેલ વર્તણૂક માટે, મૂળભૂત વિસંગતતા સંકેતો સાથે ઇનપુટ અને આઉટપુટ વિતરણોને ટ્રૅક કરો. ડ્રિફ્ટ ચેક્સ ઉમેરો જે ઘોંઘાટીયા ચેતવણીઓ કરતાં ક્રિયાને ટ્રિગર કરે છે, અને લોગ વિનંતી ID, મોડેલ સંસ્કરણો અને સ્કીમા માન્યતા પરિણામો.
નવા મોડેલ વર્ઝનને સુરક્ષિત રીતે કેવી રીતે રજૂ કરવા અને ઝડપથી પુનઃપ્રાપ્ત કરવા
મોડેલોને સંપૂર્ણ રિલીઝ જેવા ગણો, જેમાં CI/CD પાઇપલાઇન પ્રીપ્રોસેસિંગ અને પોસ્ટપ્રોસેસિંગનું પરીક્ષણ કરે છે, "ગોલ્ડન સેટ" સામે ઇન્ટિગ્રેશન ચેક ચલાવે છે અને લોડ બેઝલાઇન સ્થાપિત કરે છે. રોલઆઉટ્સ માટે, કેનેરી ધીમે ધીમે ટ્રાફિકને રિલીઝ કરે છે, જ્યારે બ્લુ-ગ્રીન તાત્કાલિક ફોલબેક માટે જૂના સંસ્કરણને જીવંત રાખે છે. શેડો પરીક્ષણ વપરાશકર્તાઓને અસર કર્યા વિના વાસ્તવિક ટ્રાફિક પર નવા મોડેલનું મૂલ્યાંકન કરવામાં મદદ કરે છે. રોલબેક એ પ્રથમ-વર્ગની પદ્ધતિ હોવી જોઈએ, પછીનો વિચાર નહીં.
AI મોડેલ્સનો ઉપયોગ કેવી રીતે કરવો તે શીખતી વખતે સૌથી સામાન્ય મુશ્કેલીઓ
તાલીમ-સેવા આપતી ત્રાંસી બાબત ક્લાસિક છે: પ્રીપ્રોસેસિંગ તાલીમ અને ઉત્પાદન વચ્ચે અલગ પડે છે, અને પ્રદર્શન શાંતિથી ઘટે છે. બીજી વારંવારની સમસ્યા સ્કીમા માન્યતાનો અભાવ છે, જ્યાં અપસ્ટ્રીમ ફેરફાર ઇનપુટ્સને સૂક્ષ્મ રીતે તોડે છે. ટીમો ટેઇલ લેટન્સીને ઓછો અંદાજ આપે છે અને સરેરાશ પર વધુ પડતું ધ્યાન કેન્દ્રિત કરે છે, ખર્ચને અવગણે છે (નિષ્ક્રિય GPU ઝડપથી ઉમેરે છે), અને રોલબેક પ્લાનિંગ છોડી દે છે. ફક્ત અપટાઇમનું નિરીક્ષણ કરવું ખાસ કરીને જોખમી છે, કારણ કે "ઉપર પરંતુ ખોટું" ડાઉન કરતાં વધુ ખરાબ હોઈ શકે છે.
સંદર્ભ
-
એમેઝોન વેબ સર્વિસીસ (AWS) - એમેઝોન સેજમેકર: રીઅલ-ટાઇમ ઇન્ફરન્સ - docs.aws.amazon.com
-
એમેઝોન વેબ સર્વિસીસ (AWS) - એમેઝોન સેજમેકર બેચ ટ્રાન્સફોર્મ - docs.aws.amazon.com
-
એમેઝોન વેબ સર્વિસીસ (AWS) - એમેઝોન સેજમેકર મોડેલ મોનિટર - docs.aws.amazon.com
-
એમેઝોન વેબ સર્વિસીસ (AWS) - API ગેટવે વિનંતી થ્રોટલિંગ - docs.aws.amazon.com
-
એમેઝોન વેબ સર્વિસીસ (AWS) - AWS સિક્રેટ્સ મેનેજર: પરિચય - docs.aws.amazon.com
-
એમેઝોન વેબ સર્વિસીસ (AWS) - AWS લેમ્બડા એક્ઝિક્યુશન પર્યાવરણ જીવનચક્ર - docs.aws.amazon.com
-
ગૂગલ ક્લાઉડ - વર્ટીક્સ એઆઈ: એન્ડપોઇન્ટ પર મોડેલ જમાવો - docs.cloud.google.com
-
ગૂગલ ક્લાઉડ - વર્ટીક્સ એઆઈ મોડેલ મોનિટરિંગ ઝાંખી - docs.cloud.google.com
-
ગૂગલ ક્લાઉડ - વર્ટીક્સ એઆઈ: સ્ક્યુ અને ડ્રિફ્ટ ફીચરનું નિરીક્ષણ કરો - docs.cloud.google.com
-
ગૂગલ ક્લાઉડ બ્લોગ - ડેટાફ્લો: બરાબર એક વાર વિરુદ્ધ ઓછામાં ઓછું એક વાર સ્ટ્રીમિંગ મોડ્સ - cloud.google.com
-
ગૂગલ ક્લાઉડ - ક્લાઉડ ડેટાફ્લો સ્ટ્રીમિંગ મોડ્સ - docs.cloud.google.com
-
ગૂગલ એસઆરઇ બુક - ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સનું નિરીક્ષણ - sre.google
-
ગુગલ રિસર્ચ - ધ ટેઈલ એટ સ્કેલ - research.google
-
LiteRT (Google AI) - LiteRT વિહંગાવલોકન - ai.google.dev
-
LiteRT (Google AI) - LiteRT ઓન-ડિવાઈસ અનુમાન - ai.google.dev
-
ડોકર - કન્ટેનર શું છે? - docs.docker.com
-
ડોકર - ડોકર બિલ્ડ શ્રેષ્ઠ પ્રથાઓ - docs.docker.com
-
Kubernetes - Kubernetes સિક્રેટ્સ - kubernetes.io
-
કુબર્નેટ્સ - હોરિઝોન્ટલ પોડ ઓટોસ્કેલિંગ - kubernetes.io
-
માર્ટિન ફાઉલર - કેનેરી રિલીઝ - martinfowler.com
-
માર્ટિન ફાઉલર - બ્લુ-ગ્રીન ડિપ્લોયમેન્ટ - martinfowler.com
-
ઓપનએપીઆઈ પહેલ - ઓપનએપીઆઈ શું છે? - openapis.org
-
JSON સ્કીમા - (સાઇટ સંદર્ભિત) - json-schema.org
-
પ્રોટોકોલ બફર્સ - પ્રોટોકોલ બફર્સ ઝાંખી - protobuf.dev
-
ફાસ્ટએપીઆઈ - (સાઇટ સંદર્ભિત) - fastapi.tiangolo.com
-
NVIDIA - ટ્રાઇટોન: ડાયનેમિક બેચિંગ અને સમવર્તી મોડેલ એક્ઝેક્યુશન - docs.nvidia.com
-
NVIDIA - ટ્રાઇટોન: સમવર્તી મોડેલ એક્ઝેક્યુશન - docs.nvidia.com
-
NVIDIA - ટ્રાઇટોન ઇન્ફરન્સ સર્વર દસ્તાવેજો - docs.nvidia.com
-
પાયટોર્ચ - ટોર્ચસર્વ દસ્તાવેજો - docs.pytorch.org
-
બેન્ટોએમએલ - ડિપ્લોયમેન્ટ માટે પેકેજિંગ - docs.bentoml.com
-
રે - રે સર્વ દસ્તાવેજો - docs.ray.io
-
ટેન્સરફ્લો - તાલીમ પછીનું પરિમાણ (ટેન્સરફ્લો મોડેલ ઑપ્ટિમાઇઝેશન) - tensorflow.org
-
ટેન્સરફ્લો - ટેન્સરફ્લો ડેટા વેલિડેશન: તાલીમ-સેવા આપતી સ્ક્યુ શોધો - tensorflow.org
-
ONNX - (સાઇટ સંદર્ભિત) - onnx.ai
-
ONNX રનટાઇમ - મોડલ ઓપ્ટિમાઇઝેશન - onnxruntime.ai
-
NIST (નેશનલ ઇન્સ્ટિટ્યૂટ ઓફ સ્ટાન્ડર્ડ્સ એન્ડ ટેકનોલોજી) - NIST SP 800-122 - csrc.nist.gov
-
arXiv - મોડેલ રિપોર્ટિંગ માટે મોડેલ કાર્ડ્સ - arxiv.org
-
માઈક્રોસોફ્ટ - શેડો ટેસ્ટિંગ - microsoft.github.io
-
OWASP - LLM અરજીઓ માટે OWASP ટોચના 10 - owasp.org
-
OWASP GenAI સુરક્ષા પ્રોજેક્ટ - OWASP: પ્રોમ્પ્ટ ઇન્જેક્શન - genai.owasp.org