ટૂંકો જવાબ: AI મોડેલ્સનું સારી રીતે મૂલ્યાંકન કરવા માટે, વાસ્તવિક વપરાશકર્તા અને હાથમાં રહેલા નિર્ણય માટે "સારું" કેવું દેખાય છે તે વ્યાખ્યાયિત કરીને શરૂઆત કરો. પછી પ્રતિનિધિ ડેટા, ચુસ્ત લિકેજ નિયંત્રણો અને બહુવિધ મેટ્રિક્સ સાથે પુનરાવર્તિત મૂલ્યાંકન બનાવો. તણાવ, પૂર્વગ્રહ અને સલામતી તપાસ ઉમેરો, અને જ્યારે પણ કંઈપણ બદલાય છે (ડેટા, સંકેતો, નીતિ), ત્યારે હાર્નેસ ફરીથી ચલાવો અને લોન્ચ પછી દેખરેખ રાખો.
મુખ્ય બાબતો:
સફળતાના માપદંડ : મેટ્રિક્સ પસંદ કરતા પહેલા વપરાશકર્તાઓ, નિર્ણયો, મર્યાદાઓ અને સૌથી ખરાબ કિસ્સામાં નિષ્ફળતાઓને વ્યાખ્યાયિત કરો.
પુનરાવર્તિતતા : એક ઇવલ હાર્નેસ બનાવો જે દરેક ફેરફાર સાથે તુલનાત્મક પરીક્ષણો ફરીથી ચલાવે છે.
ડેટા હાઇજીન : સ્થિર વિભાજન રાખો, ડુપ્લિકેટ્સ અટકાવો અને સુવિધા લીકેજને વહેલા અટકાવો.
ટ્રસ્ટ ચેક્સ : તણાવ-પરીક્ષણ મજબૂતાઈ, ન્યાયીપણાના ટુકડાઓ અને સ્પષ્ટ રૂબ્રિક્સ સાથે LLM સલામતી વર્તણૂકો.
જીવનચક્ર શિસ્ત : તબક્કાવાર રીતે રજૂ કરો, પ્રવાહ અને ઘટનાઓનું નિરીક્ષણ કરો અને જાણીતા અંતરનો દસ્તાવેજ કરો.
આ પછી તમને વાંચવા ગમશે તેવા લેખો:
🔗 AI નીતિશાસ્ત્ર શું છે?
જવાબદાર AI ડિઝાઇન, ઉપયોગ અને શાસનને માર્ગદર્શન આપતા સિદ્ધાંતોનું અન્વેષણ કરો.
🔗 AI પૂર્વગ્રહ શું છે?
જાણો કે કેવી રીતે પક્ષપાતી ડેટા AI નિર્ણયો અને પરિણામોને વિકૃત કરે છે.
🔗 AI સ્કેલેબિલિટી શું છે?
કામગીરી, કિંમત અને વિશ્વસનીયતા માટે AI સિસ્ટમ્સના સ્કેલિંગને સમજો.
🔗 AI શું છે?
કૃત્રિમ બુદ્ધિ, પ્રકારો અને વાસ્તવિક દુનિયાના ઉપયોગોની સ્પષ્ટ ઝાંખી.
૧) "સારા" ની અપ્રિય વ્યાખ્યાથી શરૂઆત કરો
મેટ્રિક્સ પહેલાં, ડેશબોર્ડ પહેલાં, કોઈપણ બેન્ચમાર્ક ફ્લેક્સિંગ પહેલાં - સફળતા કેવી દેખાય છે તે નક્કી કરો.
સ્પષ્ટ કરો:
-
વપરાશકર્તા: આંતરિક વિશ્લેષક, ગ્રાહક, ક્લિનિશિયન, ડ્રાઇવર, સાંજે 4 વાગ્યે થાકેલા સપોર્ટ એજન્ટ...
-
નિર્ણય: લોન મંજૂર કરો, છેતરપિંડીનો ખુલાસો કરો, સામગ્રી સૂચવો, નોંધોનો સારાંશ આપો
-
સૌથી મહત્વપૂર્ણ નિષ્ફળતાઓ:
-
ખોટા હકારાત્મક (હેરાનકારક) વિરુદ્ધ ખોટા નકારાત્મક (ખતરનાક)
-
-
મર્યાદાઓ: વિલંબતા, વિનંતી દીઠ ખર્ચ, ગોપનીયતા નિયમો, સ્પષ્ટતા જરૂરિયાતો, સુલભતા
આ એ ભાગ છે જ્યાં ટીમો "અર્થપૂર્ણ પરિણામ" ને બદલે "સુંદર મેટ્રિક" માટે ઑપ્ટિમાઇઝેશન તરફ વળે છે. આવું ઘણી વાર બને છે. જેમ કે... ઘણું બધું.
આ જોખમ-જાગૃત રાખવાનો એક મજબૂત રસ્તો (અને વાઇબ્સ-આધારિત નહીં) એ છે કે વિશ્વસનીયતા અને જીવનચક્ર જોખમ વ્યવસ્થાપનની આસપાસ પરીક્ષણ ફ્રેમ કરવું, જે રીતે NIST AI રિસ્ક મેનેજમેન્ટ ફ્રેમવર્ક (AI RMF 1.0) [1] માં કરે છે.
૨) “AI મોડેલ્સનું પરીક્ષણ કેવી રીતે કરવું” નું સારું સંસ્કરણ શું બનાવે છે ✅
નક્કર પરીક્ષણ અભિગમમાં કેટલીક બિન-વાટાઘાટોપાત્ર બાબતો હોય છે:
-
પ્રતિનિધિ ડેટા (માત્ર સ્વચ્છ પ્રયોગશાળા ડેટા જ નહીં)
-
સ્પષ્ટ સ્પ્લિટ (એક સેકન્ડમાં તેના વિશે વધુ)
-
બેઝલાઇન્સ (સરળ મોડેલ્સ જેને તમારે જોઈએ - બનાવટી અંદાજકો એક કારણસર અસ્તિત્વમાં છે [4])
-
બહુવિધ મેટ્રિક્સ (કારણ કે એક સંખ્યા તમારી સામે, નમ્રતાપૂર્વક, ખોટી છે)
-
તણાવ પરીક્ષણો (ધારિયા કિસ્સાઓ, અસામાન્ય ઇનપુટ્સ, વિરોધી જેવા દૃશ્યો)
-
માનવ સમીક્ષા લૂપ્સ (ખાસ કરીને જનરેટિવ મોડેલો માટે)
-
લોન્ચ પછી દેખરેખ (કારણ કે દુનિયા બદલાય છે, પાઇપલાઇન તૂટી જાય છે, અને વપરાશકર્તાઓ... સર્જનાત્મક છે [1])
ઉપરાંત: એક સારા અભિગમમાં તમે શું પરીક્ષણ કર્યું, શું ન કર્યું, અને તમે શેના વિશે નર્વસ છો તેનું દસ્તાવેજીકરણ કરવાનો સમાવેશ થાય છે. "હું શેના વિશે નર્વસ છું" વિભાગ અજીબ લાગે છે - અને તે જ જગ્યાએ વિશ્વાસ એકઠો થવાનું શરૂ થાય છે.
બે દસ્તાવેજીકરણ પેટર્ન જે ટીમોને સતત નિખાલસ રહેવામાં મદદ કરે છે:
-
મોડેલ કાર્ડ્સ (મોડેલ શેના માટે છે, તેનું મૂલ્યાંકન કેવી રીતે કરવામાં આવ્યું, તે ક્યાં નિષ્ફળ જાય છે) [2]
-
ડેટાસેટ્સ માટે ડેટાશીટ્સ (ડેટા શું છે, તે કેવી રીતે એકત્રિત કરવામાં આવ્યો હતો, તેનો ઉપયોગ શેના માટે થવો જોઈએ/નથી થવો જોઈએ) [3]
૩) સાધન વાસ્તવિકતા: લોકો વ્યવહારમાં શું વાપરે છે 🧰
સાધનો વૈકલ્પિક છે. સારી મૂલ્યાંકન ટેવો વૈકલ્પિક નથી.
જો તમે વ્યવહારિક સેટઅપ ઇચ્છતા હોવ, તો મોટાભાગની ટીમો ત્રણ ડોલ સાથે સમાપ્ત થાય છે:
-
પ્રયોગ ટ્રેકિંગ (રન, રૂપરેખાંકનો, કલાકૃતિઓ)
-
મૂલ્યાંકન હાર્નેસ (પુનરાવર્તિત ઑફલાઇન પરીક્ષણો + રીગ્રેશન સ્યુટ્સ)
-
દેખરેખ (ડ્રિફ્ટ-ઇશ સિગ્નલો, પ્રદર્શન પ્રોક્સીઓ, ઘટના ચેતવણીઓ)
તમને જંગલમાં ઘણા ઉદાહરણો જોવા મળશે (એન્ડોર્સમેન્ટ નહીં, અને હા - ફીચર્સ/કિંમતમાં ફેરફાર): MLflow, Weights & Biases, Great Expectations, Evidently, Deepchecks, OpenAI Evals, TruLens, LangSmith.
જો તમે આ વિભાગમાંથી વિચાર પુનરાવર્તિત ઇવલ હાર્નેસ બનાવો . તમે "બટન દબાવો → તુલનાત્મક પરિણામો મેળવો" ઇચ્છો છો, "નોટબુક ફરીથી ચલાવો અને પ્રાર્થના કરો" નહીં.
૪) યોગ્ય ટેસ્ટ સેટ બનાવો (અને ડેટા લીક થવાનું બંધ કરો) 🚧
આઘાતજનક સંખ્યામાં "અદ્ભુત" મોડેલો આકસ્મિક રીતે છેતરપિંડી કરી રહ્યા છે.
સ્ટાન્ડર્ડ એમએલ માટે
કારકિર્દી બચાવનારા કેટલાક અનસેક્સી નિયમો:
-
ટ્રેન/માન્યતા/પરીક્ષણ રાખો (અને સ્પ્લિટ લોજિક લખો)
-
સ્પ્લિટ્સમાં ડુપ્લિકેટ અટકાવો (સમાન વપરાશકર્તા, સમાન દસ્તાવેજ, સમાન ઉત્પાદન, લગભગ ડુપ્લિકેટ)
-
ફીચર લીકેજ પર નજર રાખો (ભવિષ્યની માહિતી "વર્તમાન" ફીચર્સમાં છુપાયેલી છે)
-
બેઝલાઇન (ડમી એસ્ટીમેટર્સ) નો ઉપયોગ કરો જેથી તમે હરાવવાની ઉજવણી ન કરો... કંઈ નહીં [4]
લીકેજ વ્યાખ્યા (ઝડપી સંસ્કરણ): તાલીમ/ઇવલમાં કંઈપણ જે મોડેલને એવી માહિતીની ઍક્સેસ આપે છે જે તેની પાસે નિર્ણય સમયે ન હોત. તે સ્પષ્ટ ("ભવિષ્યનું લેબલ") અથવા સૂક્ષ્મ ("ઘટના પછીનો ટાઇમસ્ટેમ્પ બકેટ") હોઈ શકે છે.
LLM અને જનરેટિવ મોડેલ્સ માટે
તમે પ્રોમ્પ્ટ-એન્ડ-પોલિસી સિસ્ટમ .
-
પ્રોમ્પ્ટનો સુવર્ણ સમૂહ બનાવો
-
તાજેતરના વાસ્તવિક નમૂનાઓ ઉમેરો (અનામી + ગોપનીયતા-સુરક્ષિત)
-
એક સરળ અને સરળ પેક : ટાઇપો, અશિષ્ટ ભાષા, બિન-માનક ફોર્મેટિંગ, ખાલી ઇનપુટ, બહુભાષી આશ્ચર્ય 🌍
એક વ્યવહારુ બાબત જે મેં એક કરતા વધુ વાર જોઈ છે: એક ટીમ "મજબૂત" ઑફલાઇન સ્કોર સાથે આવે છે, પછી ગ્રાહક સપોર્ટ કહે છે, "કૂલ. તેમાં વિશ્વાસપૂર્વક એક વાક્ય ખૂટે છે જે મહત્વનું છે." સુધારો "મોટું મોડેલ" નહોતો. તે વધુ સારા પરીક્ષણ સંકેતો , સ્પષ્ટ રૂબ્રિક્સ અને રીગ્રેશન સ્યુટ હતો જેણે તે ચોક્કસ નિષ્ફળતા મોડને સજા આપી હતી. સાદો. અસરકારક.
૫) ઑફલાઇન મૂલ્યાંકન: મેટ્રિક્સ જેનો અર્થ કંઈક છે 📏
મેટ્રિક્સ ઠીક છે. મેટ્રિક મોનોકલ્ચર નથી.
વર્ગીકરણ (સ્પામ, છેતરપિંડી, ઉદ્દેશ્ય, ટ્રાયેજ)
ચોકસાઈ કરતાં વધુ ઉપયોગ કરો.
-
ચોકસાઇ, રિકોલ, F1
-
થ્રેશોલ્ડ ટ્યુનિંગ (તમારી ડિફોલ્ટ થ્રેશોલ્ડ ભાગ્યે જ તમારા ખર્ચ માટે "સાચી" હોય છે) [4]
-
સેગમેન્ટ દીઠ કન્ફ્યુઝન મેટ્રિસિસ (પ્રદેશ, ઉપકરણ પ્રકાર, વપરાશકર્તા સમૂહ)
રીગ્રેશન (આગાહી, કિંમત નિર્ધારણ, સ્કોરિંગ)
-
MAE / RMSE (તમે ભૂલોને કેવી રીતે સજા કરવા માંગો છો તેના આધારે પસંદ કરો)
-
જ્યારે આઉટપુટનો ઉપયોગ "સ્કોર" તરીકે થાય છે ત્યારે કેલિબ્રેશન-ઇશ તપાસ કરે છે (શું સ્કોર વાસ્તવિકતા સાથે મેળ ખાય છે?)
રેન્કિંગ / ભલામણકર્તા સિસ્ટમ્સ
-
એનડીસીજી, એમએપી, એમઆરઆર
-
ક્વેરી પ્રકાર દ્વારા સ્લાઇસ (હેડ વિ ટેઇલ)
કમ્પ્યુટર વિઝન
-
mAP, IoU
-
પ્રતિ-વર્ગ પ્રદર્શન (દુર્લભ વર્ગો એવા હોય છે જ્યાં મોડેલો તમને શરમમાં મૂકે છે)
જનરેટિવ મોડેલ્સ (LLMs)
અહીંથી લોકો... દાર્શનિક બને છે 😵💫
વાસ્તવિક ટીમોમાં કામ કરતા વ્યવહારુ વિકલ્પો:
-
માનવ મૂલ્યાંકન (શ્રેષ્ઠ સિગ્નલ, સૌથી ધીમું લૂપ)
-
જોડીવાર પસંદગી / જીત-દર (એક્સક્લુઝિવ સ્કોરિંગ કરતાં એ વિરુદ્ધ બી સરળ છે)
-
ઓટોમેટેડ ટેક્સ્ટ મેટ્રિક્સ (કેટલાક કાર્યો માટે ઉપયોગી, અન્ય માટે ગેરમાર્ગે દોરનારું)
-
કાર્ય-આધારિત તપાસ: "શું તે યોગ્ય ક્ષેત્રો કાઢે છે?" "શું તે નીતિનું પાલન કરે છે?" "શું તે જરૂરી હોય ત્યારે સ્ત્રોતોનો ઉલ્લેખ કરે છે?"
જો તમને સ્ટ્રક્ચર્ડ "મલ્ટિ-મેટ્રિક, બહુ-દૃશ્ય" સંદર્ભ બિંદુ જોઈતું હોય, તો HELM એક સારો એન્કર છે: તે સ્પષ્ટપણે મૂલ્યાંકનને ચોકસાઈથી આગળ વધારીને કેલિબ્રેશન, મજબૂતાઈ, પૂર્વગ્રહ/ઝેરીતા અને કાર્યક્ષમતા ટ્રેડ-ઓફ [5] જેવી બાબતોમાં આગળ ધપાવે છે.
થોડું વિષયાંતર: લેખન ગુણવત્તા માટે સ્વચાલિત મેટ્રિક્સ ક્યારેક સેન્ડવિચનું વજન કરીને તેનું મૂલ્યાંકન કરવા જેવું લાગે છે. તે કંઈ નથી, પણ... ચાલો 🥪
૬) મજબૂતાઈ પરીક્ષણ: થોડો પરસેવો પાડો 🥵🧪
જો તમારું મોડેલ ફક્ત વ્યવસ્થિત ઇનપુટ્સ પર જ કામ કરે છે, તો તે મૂળભૂત રીતે કાચની ફૂલદાની છે. સુંદર, નાજુક, મોંઘું.
ટેસ્ટ:
-
ઘોંઘાટ: ટાઇપો, ખૂટતા મૂલ્યો, બિન-માનક યુનિકોડ, ફોર્મેટિંગ ગ્લિચ
-
વિતરણ પરિવર્તન: નવી ઉત્પાદન શ્રેણીઓ, નવી ભાષા, નવા સેન્સર
-
આત્યંતિક મૂલ્યો: શ્રેણીની બહારના નંબરો, વિશાળ પેલોડ્સ, ખાલી સ્ટ્રિંગ્સ
-
"વિરોધી" ઇનપુટ્સ જે તમારા તાલીમ સેટ જેવા દેખાતા નથી પણ વપરાશકર્તાઓ જેવા દેખાય છે
LLM માટે, શામેલ કરો:
-
તાત્કાલિક ઇન્જેક્શન પ્રયાસો (વપરાશકર્તા સામગ્રીમાં છુપાયેલા સૂચનો)
-
"પહેલાંની સૂચનાઓને અવગણો" પેટર્ન
-
ટૂલ-ઉપયોગ એજ કેસ (ખરાબ URL, સમયસમાપ્તિ, આંશિક આઉટપુટ)
મજબૂતાઈ એ વિશ્વસનીયતાના ગુણોમાંનો એક છે જે ઘટનાઓ બને ત્યાં સુધી અમૂર્ત લાગે છે. પછી તે... ખૂબ જ મૂર્ત બની જાય છે [1].
૭) પક્ષપાત, ન્યાયીપણા, અને તે કોના માટે કામ કરે છે ⚖️
એક મોડેલ એકંદરે "સચોટ" હોઈ શકે છે જ્યારે ચોક્કસ જૂથો માટે સતત ખરાબ હોય છે. તે કોઈ નાની ભૂલ નથી. તે ઉત્પાદન અને વિશ્વાસની સમસ્યા છે.
વ્યવહારુ પગલાં:
-
અર્થપૂર્ણ વિભાગો દ્વારા કામગીરીનું મૂલ્યાંકન કરો (માપવા માટે કાયદેસર/નૈતિક રીતે યોગ્ય)
-
જૂથોમાં ભૂલ દર અને માપાંકનની તુલના કરો
-
સંવેદનશીલ લક્ષણોને એન્કોડ કરી શકે તેવી પ્રોક્સી સુવિધાઓ (ઝિપ કોડ, ઉપકરણ પ્રકાર, ભાષા) માટે પરીક્ષણ કરો
જો તમે આ ક્યાંક દસ્તાવેજીકૃત નથી કરી રહ્યા, તો તમે મૂળભૂત રીતે ભવિષ્યમાં - તમને નકશા વિના ટ્રસ્ટ કટોકટીને ડીબગ કરવા માટે કહી રહ્યા છો. મોડેલ કાર્ડ્સ તેને મૂકવા માટે એક મજબૂત સ્થાન છે [2], અને NIST ની વિશ્વસનીયતા ફ્રેમિંગ તમને "સારા" માં શું શામેલ હોવું જોઈએ તેની મજબૂત ચેકલિસ્ટ આપે છે [1].
૮) સલામતી અને સુરક્ષા પરીક્ષણ (ખાસ કરીને LLM માટે) 🛡️
જો તમારું મોડેલ સામગ્રી ઉત્પન્ન કરી શકે છે, તો તમે ચોકસાઈ કરતાં વધુ પરીક્ષણ કરી રહ્યા છો. તમે વર્તનનું પરીક્ષણ કરી રહ્યા છો.
આ માટે પરીક્ષણો શામેલ કરો:
-
સામગ્રી બનાવવાની મંજૂરી નથી (નીતિ ઉલ્લંઘનો)
-
ગોપનીયતા લીકેજ (શું તે રહસ્યોનો પડઘો પાડે છે?)
-
ઉચ્ચ હોડવાળા ક્ષેત્રોમાં ભ્રમણા
-
વધુ પડતો ઇનકાર (મોડેલ સામાન્ય વિનંતીઓનો ઇનકાર કરે છે)
-
ઝેરી અને ઉત્પીડન આઉટપુટ
-
પ્રોમ્પ્ટ ઇન્જેક્શન દ્વારા ડેટા એક્સફિલ્ટરેશનનો પ્રયાસ કરે છે
એક ગ્રાઉન્ડેડ અભિગમ છે: નીતિ નિયમો વ્યાખ્યાયિત કરો → ટેસ્ટ પ્રોમ્પ્ટ બનાવો → માનવ + સ્વચાલિત તપાસ સાથે આઉટપુટ સ્કોર કરો → જ્યારે પણ કંઈપણ બદલાય ત્યારે તેને ચલાવો. તે "દરેક વખતે" ભાગ ભાડું છે.
આ જીવનચક્રના જોખમ માનસિકતામાં સરસ રીતે બંધબેસે છે: શાસન કરો, સંદર્ભનો નકશો બનાવો, માપો, વ્યવસ્થા કરો, પુનરાવર્તન કરો [1].
9) ઓનલાઈન પરીક્ષણ: સ્ટેજ્ડ રોલઆઉટ્સ (જ્યાં સત્ય રહે છે) 🚀
ઑફલાઇન પરીક્ષણો જરૂરી છે. ઓનલાઇન એક્સપોઝર એ છે જ્યાં વાસ્તવિકતા કાદવવાળા જૂતા પહેરીને દેખાય છે.
તમારે ફેન્સી બનવાની જરૂર નથી. તમારે ફક્ત શિસ્તબદ્ધ રહેવાની જરૂર છે:
-
શેડો મોડમાં ચલાવો (મોડેલ ચાલે છે, વપરાશકર્તાઓને અસર કરતું નથી)
-
ધીમે ધીમે રોલઆઉટ (પહેલા ઓછો ટ્રાફિક, જો સારું હોય તો વિસ્તૃત કરો)
-
પરિણામો અને ઘટનાઓ (ફરિયાદો, વધારો, નીતિ નિષ્ફળતાઓ)
જો તમને તાત્કાલિક લેબલ્સ ન મળે તો પણ, તમે પ્રોક્સી સિગ્નલો અને ઓપરેશનલ હેલ્થ (લેટન્સી, નિષ્ફળતા દર, કિંમત) પર નજર રાખી શકો છો. મુખ્ય મુદ્દો: પહેલાં .
૧૦) જમાવટ પછી દેખરેખ: ડ્રિફ્ટ, સડો અને શાંત નિષ્ફળતા 📉👀
તમે જે મોડેલનું પરીક્ષણ કર્યું છે તે મોડેલ નથી જેની સાથે તમે જીવો છો. ડેટા બદલાય છે. વપરાશકર્તાઓ બદલાય છે. દુનિયા બદલાય છે. રાત્રે 2 વાગ્યે પાઇપલાઇન તૂટી જાય છે. તમે જાણો છો કે તે કેવી રીતે છે..
મોનિટર:
-
ઇનપુટ ડેટા ડ્રિફ્ટ (સ્કીમા ફેરફારો, ગુમ થવું, વિતરણ શિફ્ટ)
-
આઉટપુટ ડ્રિફ્ટ (ક્લાસ બેલેન્સ શિફ્ટ, સ્કોર શિફ્ટ)
-
પ્રદર્શન પ્રોક્સીઓ (કારણ કે લેબલ વિલંબ વાસ્તવિક છે)
-
પ્રતિસાદ સંકેતો (થમ્બ્સ ડાઉન, ફરીથી સંપાદનો, એસ્કેલેશન)
-
સેગમેન્ટ-લેવલ રીગ્રેશન (સાયલન્ટ કિલર્સ)
અને એવા એલર્ટ થ્રેશોલ્ડ સેટ કરો જે ખૂબ જ ધ્રુજારી ન હોય. એક મોનિટર જે સતત ચીસો પાડે છે તેને અવગણવામાં આવે છે - જેમ શહેરમાં કાર એલાર્મ હોય છે.
જો તમે વિશ્વસનીયતાની કાળજી રાખતા હોવ તો આ "મોનિટર + સમય જતાં સુધારો" લૂપ વૈકલ્પિક નથી [1].
૧૧) એક વ્યવહારુ વર્કફ્લો જેની તમે નકલ કરી શકો છો 🧩
અહીં એક સરળ લૂપ છે જે સ્કેલ કરે છે:
-
સફળતા + નિષ્ફળતા મોડ્સ વ્યાખ્યાયિત કરો (ખર્ચ/વિલંબતા/સુરક્ષા સહિત) [1]
-
ડેટાસેટ્સ બનાવો:
-
સુવર્ણ સમૂહ
-
એજ-કેસ પેક
-
તાજેતરના વાસ્તવિક નમૂનાઓ (ગોપનીયતા-સુરક્ષિત)
-
-
મેટ્રિક્સ પસંદ કરો:
-
કાર્ય મેટ્રિક્સ (F1, MAE, જીત-દર) [4][5]
-
સલામતી મેટ્રિક્સ (પોલિસી પાસ રેટ) [1][5]
-
ઓપરેશનલ મેટ્રિક્સ (લેટન્સી, ખર્ચ)
-
-
મૂલ્યાંકન હાર્નેસ બનાવો (દરેક મોડેલ/પ્રોમ્પ્ટ ફેરફાર પર ચાલે છે) [4][5]
-
તણાવ પરીક્ષણો + વિરોધી-પ્રતિકૂળ પરીક્ષણો ઉમેરો [1][5]
-
નમૂના માટે માનવ સમીક્ષા (ખાસ કરીને LLM આઉટપુટ માટે) [5]
-
શેડો દ્વારા શિપ કરો + સ્ટેજ્ડ રોલઆઉટ [1]
-
દેખરેખ + ચેતવણી + શિસ્ત સાથે ફરીથી તાલીમ આપો [1]
-
દસ્તાવેજ મોડેલ-કાર્ડ શૈલીમાં લખાણમાં પરિણમે છે [2][3]
તાલીમ આકર્ષક છે. પરીક્ષણ ભાડું ચૂકવવાનું છે.
૧૨) સમાપન નોંધો + ઝડપી રીકેપ 🧠✨
AI મોડેલ્સનું પરીક્ષણ કેવી રીતે કરવું તે વિશે થોડીક બાબતો યાદ હોય તો :
-
પ્રતિનિધિ પરીક્ષણ ડેટાનો ઉપયોગ કરો અને લીકેજ ટાળો [4]
-
વાસ્તવિક પરિણામો સાથે જોડાયેલા બહુવિધ મેટ્રિક્સ પસંદ કરો
-
LLM માટે, માનવ સમીક્ષા + વિન-રેટ શૈલી સરખામણીઓ [5]
-
પરીક્ષણ મજબૂતાઈ - અસામાન્ય ઇનપુટ્સ છુપાયેલા સામાન્ય ઇનપુટ્સ છે [1]
-
સુરક્ષિત રીતે રોલઆઉટ કરો અને મોનિટર કરો, કારણ કે મોડેલો ડ્રિફ્ટ થાય છે અને પાઇપલાઇન્સ તૂટી જાય છે [1]
-
તમે શું કર્યું અને શું ન કર્યું તેનું દસ્તાવેજીકરણ કરો (અસ્વસ્થતાપૂર્ણ પણ શક્તિશાળી) [2][3]
પરીક્ષણ ફક્ત "તે કામ કરે છે તે સાબિત કરવું" નથી. તે "તમારા વપરાશકર્તાઓ કરે તે પહેલાં તે કેવી રીતે નિષ્ફળ જાય છે તે શોધવું" છે. અને હા, તે ઓછું સેક્સી છે - પરંતુ તે તે ભાગ છે જે તમારી સિસ્ટમને સ્થિર રાખે છે જ્યારે વસ્તુઓ ડગમગતી હોય છે... 🧱🙂
વારંવાર પૂછાતા પ્રશ્નો
વાસ્તવિક વપરાશકર્તા જરૂરિયાતો સાથે મેળ ખાતી AI મોડેલોનું પરીક્ષણ કરવાની શ્રેષ્ઠ રીત
"સારા" ને વાસ્તવિક વપરાશકર્તા અને મોડેલ દ્વારા સપોર્ટ કરાયેલા નિર્ણયના સંદર્ભમાં વ્યાખ્યાયિત કરીને શરૂઆત કરો, ફક્ત લીડરબોર્ડ મેટ્રિક જ નહીં. સૌથી વધુ ખર્ચવાળા નિષ્ફળતા મોડ્સ (ખોટા હકારાત્મક વિરુદ્ધ ખોટા નકારાત્મક) ઓળખો અને વિલંબતા, ખર્ચ, ગોપનીયતા અને સમજૂતી જેવા મુશ્કેલ અવરોધોને સ્પષ્ટ કરો. પછી મેટ્રિક્સ અને પરીક્ષણ કેસ પસંદ કરો જે તે પરિણામોને પ્રતિબિંબિત કરે છે. આ તમને "સુંદર મેટ્રિક" ને ઑપ્ટિમાઇઝ કરવાથી રોકે છે જે ક્યારેય વધુ સારા ઉત્પાદનમાં પરિણમે નહીં.
મૂલ્યાંકન માપદંડ પસંદ કરતા પહેલા સફળતાના માપદંડોને વ્યાખ્યાયિત કરવા
વપરાશકર્તા કોણ છે, મોડેલ કયા નિર્ણયને સમર્થન આપવા માટે છે અને ઉત્પાદનમાં "સૌથી ખરાબ કિસ્સામાં નિષ્ફળતા" કેવી દેખાય છે તે લખો. સ્વીકાર્ય વિલંબતા અને વિનંતી દીઠ ખર્ચ જેવી કામગીરીની મર્યાદાઓ ઉમેરો, ઉપરાંત ગોપનીયતા નિયમો અને સલામતી નીતિઓ જેવી શાસન જરૂરિયાતો ઉમેરો. એકવાર તે સ્પષ્ટ થઈ જાય, પછી મેટ્રિક્સ યોગ્ય વસ્તુને માપવાનો માર્ગ બની જાય છે. તે ફ્રેમિંગ વિના, ટીમો જે પણ માપવા માટે સરળ હોય તેને ઑપ્ટિમાઇઝ કરવા તરફ વળે છે.
મોડેલ મૂલ્યાંકનમાં ડેટા લીકેજ અને આકસ્મિક છેતરપિંડી અટકાવવી
ટ્રેન/માન્યતા/પરીક્ષણ સ્પ્લિટ્સને સ્થિર રાખો અને સ્પ્લિટ લોજિકનું દસ્તાવેજીકરણ કરો જેથી પરિણામો પુનઃઉત્પાદનક્ષમ રહે. સ્પ્લિટ્સમાં ડુપ્લિકેટ્સ અને લગભગ-ડુપ્લિકેટ્સ સક્રિય રીતે અવરોધિત કરો (સમાન વપરાશકર્તા, દસ્તાવેજ, ઉત્પાદન, અથવા પુનરાવર્તિત પેટર્ન). જ્યાં "ભવિષ્ય" માહિતી ટાઇમસ્ટેમ્પ્સ અથવા પોસ્ટ-ઇવેન્ટ ફીલ્ડ્સ દ્વારા ઇનપુટમાં સરકી જાય છે ત્યાં સુવિધા લીકેજ પર નજર રાખો. એક મજબૂત બેઝલાઇન (ડમી અંદાજકો પણ) તમને જ્યારે તમે અવાજ ઉજવી રહ્યા હોવ ત્યારે ધ્યાન આપવામાં મદદ કરે છે.
મૂલ્યાંકન હાર્નેસમાં શું શામેલ હોવું જોઈએ જેથી પરીક્ષણો ફેરફારો દરમિયાન પુનરાવર્તિત રહે
એક વ્યવહારુ હાર્નેસ સમાન ડેટાસેટ્સ અને સ્કોરિંગ નિયમોનો ઉપયોગ કરીને દરેક મોડેલ, પ્રોમ્પ્ટ અથવા નીતિ પરિવર્તન પર તુલનાત્મક પરીક્ષણો ફરીથી ચલાવે છે. તેમાં સામાન્ય રીતે રીગ્રેશન સ્યુટ, સ્પષ્ટ મેટ્રિક્સ ડેશબોર્ડ્સ અને ટ્રેસેબિલિટી માટે સંગ્રહિત રૂપરેખાઓ અને આર્ટિફેક્ટ્સનો સમાવેશ થાય છે. LLM સિસ્ટમ્સ માટે, તેને પ્રોમ્પ્ટ્સના સ્થિર "ગોલ્ડન સેટ" અને એજ-કેસ પેકની પણ જરૂર છે. ધ્યેય "બટન દબાવો → તુલનાત્મક પરિણામો" છે, "નોટબુક ફરીથી ચલાવો અને પ્રાર્થના કરો" નહીં
ચોકસાઈથી આગળ વધીને AI મોડેલ્સના પરીક્ષણ માટેના મેટ્રિક્સ
બહુવિધ મેટ્રિક્સનો ઉપયોગ કરો, કારણ કે એક જ સંખ્યા મહત્વપૂર્ણ ટ્રેડ-ઓફ છુપાવી શકે છે. વર્ગીકરણ માટે, થ્રેશોલ્ડ ટ્યુનિંગ અને સેગમેન્ટ દ્વારા કન્ફ્યુઝન મેટ્રિસિસ સાથે ચોકસાઇ/રિકોલ/F1 ને જોડો. રીગ્રેશન માટે, તમે ભૂલોને કેવી રીતે દંડ કરવા માંગો છો તેના આધારે MAE અથવા RMSE પસંદ કરો, અને જ્યારે આઉટપુટ સ્કોર્સની જેમ કાર્ય કરે છે ત્યારે કેલિબ્રેશન-શૈલી તપાસ ઉમેરો. રેન્કિંગ માટે, અસમાન પ્રદર્શન પકડવા માટે NDCG/MAP/MRR અને સ્લાઇસ બાય હેડ વિરુદ્ધ ટેઇલ ક્વેરીઝનો ઉપયોગ કરો.
જ્યારે ઓટોમેટેડ મેટ્રિક્સ ઓછા પડે ત્યારે LLM આઉટપુટનું મૂલ્યાંકન કરવું
તેને ફક્ત ટેક્સ્ટ સમાનતા જ નહીં, પણ પ્રોમ્પ્ટ-અને-પોલિસી સિસ્ટમ અને સ્કોર વર્તણૂક તરીકે ગણો. ઘણી ટીમો માનવ મૂલ્યાંકનને જોડીવાર પસંદગી (A/B વિન-રેટ) સાથે જોડે છે, ઉપરાંત "શું તે યોગ્ય ક્ષેત્રો કાઢે છે" અથવા "શું તે નીતિનું પાલન કરે છે" જેવા કાર્ય-આધારિત તપાસને જોડે છે. સ્વચાલિત ટેક્સ્ટ મેટ્રિક્સ સાંકડા કિસ્સાઓમાં મદદ કરી શકે છે, પરંતુ તેઓ ઘણીવાર વપરાશકર્તાઓની કાળજી લેતી બાબતો ચૂકી જાય છે. સ્પષ્ટ રૂબ્રિક્સ અને રીગ્રેશન સ્યુટ સામાન્ય રીતે એક સ્કોર કરતાં વધુ મહત્વ ધરાવે છે.
ઘોંઘાટીયા ઇનપુટ્સ પર મોડેલ તૂટી ન જાય તે માટે મજબૂતાઈ પરીક્ષણો ચલાવવા
ટાઇપો, ગુમ થયેલ મૂલ્યો, વિચિત્ર ફોર્મેટિંગ અને બિન-માનક યુનિકોડ સાથે મોડેલનું તાણ-પરીક્ષણ કરો, કારણ કે વાસ્તવિક વપરાશકર્તાઓ ભાગ્યે જ વ્યવસ્થિત હોય છે. નવી શ્રેણીઓ, સ્લેંગ, સેન્સર અથવા ભાષા પેટર્ન જેવા વિતરણ શિફ્ટ કેસ ઉમેરો. સપાટીના બરડ વર્તન માટે આત્યંતિક મૂલ્યો (ખાલી સ્ટ્રિંગ્સ, વિશાળ પેલોડ્સ, શ્રેણીની બહારના નંબરો) શામેલ કરો. LLM માટે, પ્રોમ્પ્ટ ઇન્જેક્શન પેટર્ન અને સમયસમાપ્તિ અથવા આંશિક આઉટપુટ જેવા ટૂલ-ઉપયોગ નિષ્ફળતાઓનું પણ પરીક્ષણ કરો.
સિદ્ધાંતમાં ખોવાઈ ગયા વિના પક્ષપાત અને ન્યાયીપણાના મુદ્દાઓ તપાસવા
અર્થપૂર્ણ સ્લાઇસેસ પર પ્રદર્શનનું મૂલ્યાંકન કરો અને જ્યાં માપન કરવું કાયદેસર અને નૈતિક રીતે યોગ્ય હોય તેવા જૂથોમાં ભૂલ દર અને કેલિબ્રેશનની તુલના કરો. પ્રોક્સી સુવિધાઓ (જેમ કે ઝિપ કોડ, ઉપકરણ પ્રકાર અથવા ભાષા) શોધો જે સંવેદનશીલ લક્ષણોને પરોક્ષ રીતે એન્કોડ કરી શકે છે. ચોક્કસ જૂથો માટે સતત નિષ્ફળ જતા મોડેલ "એકંદરે સચોટ" દેખાઈ શકે છે. તમે શું માપ્યું અને શું ન કર્યું તેનું દસ્તાવેજીકરણ કરો, જેથી ભવિષ્યના ફેરફારો શાંતિથી રીગ્રેશન ફરીથી રજૂ ન કરે.
જનરેટિવ AI અને LLM સિસ્ટમ્સ માટે સલામતી અને સુરક્ષા પરીક્ષણોનો સમાવેશ થશે
મંજૂર ન હોય તેવી સામગ્રી જનરેશન, ગોપનીયતા લીકેજ, ઉચ્ચ-દાવવાળા ડોમેન્સમાં ભ્રમણા અને મોડેલ સામાન્ય વિનંતીઓને અવરોધિત કરતી વખતે ઓવર-રિફ્યુઝલ માટે પરીક્ષણ. પ્રોમ્પ્ટ ઇન્જેક્શન અને ડેટા એક્સફિલ્ટ્રેશન પ્રયાસો શામેલ કરો, ખાસ કરીને જ્યારે સિસ્ટમ ટૂલ્સનો ઉપયોગ કરે છે અથવા સામગ્રી પુનઃપ્રાપ્ત કરે છે. ગ્રાઉન્ડેડ વર્કફ્લો છે: નીતિ નિયમો વ્યાખ્યાયિત કરો, ટેસ્ટ પ્રોમ્પ્ટ સેટ બનાવો, માનવ વત્તા સ્વચાલિત તપાસ સાથે સ્કોર કરો અને જ્યારે પણ પ્રોમ્પ્ટ, ડેટા અથવા નીતિઓ બદલાય ત્યારે તેને ફરીથી ચલાવો. સુસંગતતા એ તમે ચૂકવો છો તે ભાડું છે.
ડ્રિફ્ટ અને ઘટનાઓને પકડવા માટે લોન્ચ પછી AI મોડેલ્સનું લોન્ચિંગ અને દેખરેખ
તમારા સંપૂર્ણ વપરાશકર્તા આધાર પહેલાં નિષ્ફળતાઓ શોધવા માટે શેડો મોડ અને ક્રમિક ટ્રાફિક રેમ્પ જેવા સ્ટેજ્ડ રોલઆઉટ પેટર્નનો ઉપયોગ કરો. ઇનપુટ ડ્રિફ્ટ (સ્કીમા ફેરફારો, ગેરહાજરી, વિતરણ શિફ્ટ) અને આઉટપુટ ડ્રિફ્ટ (સ્કોર શિફ્ટ, વર્ગ સંતુલન શિફ્ટ), તેમજ લેટન્સી અને ખર્ચ જેવા ઓપરેશનલ હેલ્થનું નિરીક્ષણ કરો. સંપાદનો, એસ્કેલેશન અને ફરિયાદો જેવા પ્રતિસાદ સંકેતોને ટ્રૅક કરો અને સેગમેન્ટ-લેવલ રીગ્રેશન જુઓ. જ્યારે કંઈપણ બદલાય છે, ત્યારે તે જ હાર્નેસ ફરીથી ચલાવો અને સતત દેખરેખ રાખો.
સંદર્ભ
[1] NIST - આર્ટિફિશિયલ ઇન્ટેલિજન્સ રિસ્ક મેનેજમેન્ટ ફ્રેમવર્ક (AI RMF 1.0) (PDF)
[2] મિશેલ અને અન્ય - "મોડેલ રિપોર્ટિંગ માટે મોડેલ કાર્ડ્સ" (arXiv:1810.03993)
[3] ગેબ્રુ અને અન્ય - "ડેટાસેટ્સ માટે ડેટાશીટ્સ" (arXiv:1803.09010)
[4] scikit-learn - "મોડેલ પસંદગી અને મૂલ્યાંકન" દસ્તાવેજીકરણ
[5] લિયાંગ અને અન્ય - "ભાષા મોડેલ્સનું સર્વાંગી મૂલ્યાંકન" (arXiv:2211.09110)