ટૂંકો જવાબ: AI સંકુચિત, સારી રીતે વ્યાખ્યાયિત કાર્યોમાં ખૂબ જ સચોટ હોઈ શકે છે અને તેમાં સ્પષ્ટ સત્ય હોય છે, પરંતુ "ચોકસાઈ" એ એક પણ સ્કોર નથી જેનો તમે સાર્વત્રિક રીતે વિશ્વાસ કરી શકો. તે ફક્ત ત્યારે જ કાર્ય કરે છે જ્યારે કાર્ય, ડેટા અને મેટ્રિક ઓપરેશનલ સેટિંગ સાથે સુસંગત હોય; જ્યારે ઇનપુટ્સ ડ્રિફ્ટ થાય છે અથવા કાર્યો ખુલ્લા થઈ જાય છે, ત્યારે ભૂલો અને આત્મવિશ્વાસપૂર્ણ ભ્રમ વધે છે.
મુખ્ય બાબતો:
કાર્ય યોગ્ય: કાર્યને ચોક્કસ રીતે વ્યાખ્યાયિત કરો જેથી "સાચું" અને "ખોટું" ચકાસી શકાય.
મેટ્રિક પસંદગી: મૂલ્યાંકન મેટ્રિક્સને વાસ્તવિક પરિણામો સાથે મેચ કરો, પરંપરા કે સગવડ સાથે નહીં.
વાસ્તવિકતા પરીક્ષણ: પ્રતિનિધિ, ઘોંઘાટીયા ડેટા અને વિતરણની બહારના તણાવ પરીક્ષણોનો ઉપયોગ કરો.
માપાંકન: વિશ્વાસ શુદ્ધતા સાથે સુસંગત છે કે નહીં તે માપો, ખાસ કરીને થ્રેશોલ્ડ માટે.
જીવનચક્ર દેખરેખ: સમય જતાં વપરાશકર્તાઓ, ડેટા અને વાતાવરણ બદલાતા રહે તેમ સતત પુનઃમૂલ્યાંકન કરો.
આ પછી તમને વાંચવા ગમશે તેવા લેખો:
🔗 સ્ટેપ બાય સ્ટેપ AI કેવી રીતે શીખવું
આત્મવિશ્વાસથી AI શીખવાનું શરૂ કરવા માટે શિખાઉ માણસો માટે અનુકૂળ રોડમેપ.
🔗 AI ડેટામાં વિસંગતતાઓ કેવી રીતે શોધે છે
અસામાન્ય પેટર્નને આપમેળે શોધવા માટે AI કઈ પદ્ધતિઓનો ઉપયોગ કરે છે તે સમજાવે છે.
🔗 શા માટે AI સમાજ માટે ખરાબ હોઈ શકે છે
પૂર્વગ્રહ, નોકરીઓની અસર અને ગોપનીયતાની ચિંતાઓ જેવા જોખમોને આવરી લે છે.
🔗 AI ડેટાસેટ શું છે અને તે શા માટે મહત્વપૂર્ણ છે
ડેટાસેટ્સ અને તેઓ AI મોડેલ્સને કેવી રીતે તાલીમ આપે છે અને તેનું મૂલ્યાંકન કરે છે તે વ્યાખ્યાયિત કરે છે.
૧) તો... AI કેટલું સચોટ છે?🧠✅
સાંકડા, સારી રીતે વ્યાખ્યાયિત કાર્યોમાં AI અત્યંત સચોટ હોઈ શકે છે - ખાસ કરીને જ્યારે "સાચો જવાબ" સ્પષ્ટ અને સ્કોર કરવામાં સરળ હોય
પરંતુ ઓપન-એન્ડેડ કાર્યોમાં (ખાસ કરીને જનરેટિવ AI ), "ચોકસાઈ" ઝડપથી લપસણી થઈ જાય છે કારણ કે:
-
બહુવિધ સ્વીકાર્ય જવાબો હોઈ શકે છે.
-
આઉટપુટ સરળ હોઈ શકે છે પરંતુ હકીકતો પર આધારિત નથી
-
મોડેલને "સહાયકતા" વાઇબ્સ માટે ટ્યુન કરી શકાય છે, કડક શુદ્ધતા માટે નહીં
-
દુનિયા બદલાય છે, અને સિસ્ટમો વાસ્તવિકતાથી પાછળ રહી શકે છે
એક ઉપયોગી માનસિક મોડેલ: ચોકસાઈ એ કોઈ મિલકત નથી જે તમારી પાસે "છે." તે એવી મિલકત છે જે તમે ચોક્કસ કાર્ય માટે, ચોક્કસ વાતાવરણમાં, ચોક્કસ માપન સેટઅપ સાથે "કમાવો છો". એટલા માટે ગંભીર માર્ગદર્શન મૂલ્યાંકનને જીવનચક્ર પ્રવૃત્તિ તરીકે ગણે છે - એક વખતની સ્કોરબોર્ડ ક્ષણ તરીકે નહીં. [1]
૨) ચોકસાઈ એક વસ્તુ નથી - તે એક આખો વૈવિધ્યસભર પરિવાર છે 👨👩👧👦📏
જ્યારે લોકો "ચોકસાઈ" કહે છે, ત્યારે તેમનો અર્થ આમાંથી કોઈ પણ હોઈ શકે છે (અને તેઓ ઘણીવાર એક જ સમયે બેનો સમજ્યા વિના કરે છે):
-
શુદ્ધતા: શું તેનાથી યોગ્ય લેબલ / જવાબ મળ્યો?
-
ચોકસાઇ વિરુદ્ધ રિકોલ: શું તે ખોટા એલાર્મ ટાળ્યું, કે પછી બધું પકડી લીધું?
-
માપાંકન: જ્યારે તે કહે છે કે "મને 90% ખાતરી છે," ત્યારે શું તે ખરેખર ~90% સમય સાચું હોય છે? [3]
-
મજબૂતાઈ: શું ઇનપુટમાં થોડો ફેરફાર થાય છે (અવાજ, નવા શબ્દસમૂહો, નવા સ્ત્રોતો, નવા વસ્તી વિષયક)?
-
વિશ્વસનીયતા: શું તે અપેક્ષિત પરિસ્થિતિઓમાં સતત વર્તે છે?
-
સત્યતા / વાસ્તવિકતા (જનરેટિવ AI): શું તે આત્મવિશ્વાસપૂર્ણ સ્વરમાં વસ્તુઓ બનાવી રહ્યું છે (ભ્રામકતા)? [2]
આ જ કારણ છે કે વિશ્વાસ-કેન્દ્રિત ફ્રેમવર્ક "ચોકસાઈ" ને સોલો હીરો મેટ્રિક તરીકે ગણતા નથી. તેઓ માન્યતા, વિશ્વસનીયતા, સલામતી, પારદર્શિતા, મજબૂતાઈ, ન્યાયીતા અને વધુ એક બંડલ તરીકે વાત કરે છે - કારણ કે તમે એકને "ઓપ્ટિમાઇઝ" કરી શકો છો અને આકસ્મિક રીતે બીજાને તોડી શકો છો. [1]
3) "AI કેટલું સચોટ છે?" માપવાનું સારું સંસ્કરણ શું બનાવે છે? 🧪🔍
અહીં "સારા સંસ્કરણ" ની ચેકલિસ્ટ છે (જેને લોકો છોડી દે છે... અને પછી પસ્તાવો થાય છે):
✅ કાર્યની સ્પષ્ટ વ્યાખ્યા (ઉર્ફે: તેને પરીક્ષણયોગ્ય બનાવો)
-
"સારાંશ" એ અસ્પષ્ટ છે.
-
"5 બુલેટમાં સારાંશ આપો, સ્ત્રોતમાંથી 3 ચોક્કસ સંખ્યાઓ શામેલ કરો, અને સંદર્ભો શોધશો નહીં" તે પરીક્ષણયોગ્ય છે.
✅ પ્રતિનિધિ પરીક્ષણ ડેટા (ઉર્ફે: સરળ મોડ પર ગ્રેડિંગ બંધ કરો)
જો તમારો ટેસ્ટ સેટ ખૂબ જ સ્વચ્છ હશે, તો ચોકસાઈ નકલી-સારી દેખાશે. વાસ્તવિક વપરાશકર્તાઓ ટાઇપો, વિચિત્ર ધાર કેસ અને "મેં આ મારા ફોન પર 2am વાગ્યે લખ્યું" ઊર્જા લાવે છે.
✅ જોખમ સાથે મેળ ખાતું મેટ્રિક
મીમનું ખોટું વર્ગીકરણ કરવું એ તબીબી ચેતવણીનું ખોટું વર્ગીકરણ કરવા જેવું નથી. તમે પરંપરાના આધારે મેટ્રિક્સ પસંદ કરતા નથી - તમે તેમને પરિણામોના આધારે પસંદ કરો છો. [1]
✅ વિતરણની બહારનું પરીક્ષણ (ઉર્ફે: "જ્યારે વાસ્તવિકતા દેખાય છે ત્યારે શું થાય છે?")
વિચિત્ર શબ્દસમૂહો, અસ્પષ્ટ ઇનપુટ્સ, વિરોધી સંકેતો, નવી શ્રેણીઓ, નવા સમયગાળા અજમાવી જુઓ. આ મહત્વનું છે કારણ કે વિતરણ શિફ્ટ એ ઉત્પાદનમાં ફેસપ્લાન્ટ મોડેલ બનાવવાની એક ઉત્તમ રીત છે. [4]
✅ ચાલુ મૂલ્યાંકન (ઉર્ફે: ચોકસાઈ એ "સેટ કરો અને ભૂલી જાઓ" સુવિધા નથી)
સિસ્ટમ્સ ડ્રિફ્ટ થાય છે. વપરાશકર્તાઓ બદલાય છે. ડેટા બદલાય છે. તમારું "મહાન" મોડેલ શાંતિથી અધોગતિ પામે છે - સિવાય કે તમે તેને સતત માપતા રહો. [1]
નાનકડી વાસ્તવિક દુનિયાની પેટર્ન તમે ઓળખી શકશો: ટીમો ઘણીવાર મજબૂત "ડેમો ચોકસાઈ" સાથે મોકલે છે, પછી શોધે છે કે તેમનો વાસ્તવિક નિષ્ફળતા મોડ નથી ... તે "ખોટા જવાબો આત્મવિશ્વાસથી, સ્કેલ પર આપવામાં આવે છે." તે મૂલ્યાંકન ડિઝાઇન સમસ્યા છે, માત્ર એક મોડેલ સમસ્યા નથી.
૪) જ્યાં AI સામાન્ય રીતે ખૂબ જ સચોટ હોય છે (અને શા માટે) 📈🛠️
જ્યારે સમસ્યા હોય ત્યારે AI ચમકે છે:
-
સાંકડું
-
સારી રીતે લેબલ થયેલ
-
સમય જતાં સ્થિર
-
તાલીમ વિતરણ જેવું જ
-
આપમેળે સ્કોર કરવા માટે સરળ
ઉદાહરણો:
-
સ્પામ ફિલ્ટરિંગ
-
સુસંગત લેઆઉટમાં દસ્તાવેજ નિષ્કર્ષણ
-
ઘણા બધા પ્રતિસાદ સંકેતો સાથે રેન્કિંગ/ભલામણ લૂપ્સ
-
નિયંત્રિત સેટિંગ્સમાં દ્રષ્ટિ વર્ગીકરણના ઘણા કાર્યો
આમાંની ઘણી જીત પાછળ કંટાળાજનક સુપરપાવર: સ્પષ્ટ જમીની સત્ય + ઘણા બધા સંબંધિત ઉદાહરણો. આકર્ષક નહીં - અત્યંત અસરકારક.
૫) જ્યાં AI ચોકસાઈ ઘણીવાર તૂટી જાય છે 😬🧯
આ તે ભાગ છે જે લોકો તેમના હાડકાંમાં અનુભવે છે.
જનરેટિવ AI માં ભ્રમણા 🗣️🌪️
LLMs બુદ્ધિગમ્ય પરંતુ બિન-તથ્યપૂર્ણ સામગ્રી ઉત્પન્ન કરી શકે છે - અને "બુદ્ધિમાન" ભાગ એ જ કારણ છે કે તે ખતરનાક છે. આ એક કારણ છે કે જનરેટિવ AI જોખમ માર્ગદર્શન વાઇબ્સ-આધારિત ડેમો કરતાં ગ્રાઉન્ડિંગ, દસ્તાવેજીકરણ અને માપન પર ખૂબ ભાર મૂકે છે . [2]
વિતરણ પાળી 🧳➡️🏠
એક વાતાવરણમાં તાલીમ પામેલ મોડેલ બીજા વાતાવરણમાં ઠોકર ખાઈ શકે છે: અલગ વપરાશકર્તા ભાષા, અલગ ઉત્પાદન સૂચિ, અલગ પ્રાદેશિક ધોરણો, અલગ સમયગાળો. WILDS જેવા બેન્ચમાર્ક મૂળભૂત રીતે ચીસો પાડવા માટે અસ્તિત્વમાં છે: "વિતરણમાં પ્રદર્શન વાસ્તવિક દુનિયાના પ્રદર્શનને નાટકીય રીતે વધારે પડતું બતાવી શકે છે." [4]
આત્મવિશ્વાસપૂર્ણ અનુમાન લગાવવાને પુરસ્કાર આપતા પ્રોત્સાહનો 🏆🤥
કેટલાક સેટઅપ્સ આકસ્મિક રીતે "જ્યારે તમે જાણો છો ત્યારે જ જવાબ આપો" ને બદલે "હંમેશા જવાબ આપો" વર્તનને પુરસ્કાર આપે છે. તેથી સિસ્ટમો સાચા હોવાને બદલે સાચા અવાજ કરવાનું શીખે છે . આ જ કારણ છે કે મૂલ્યાંકનમાં ફક્ત કાચો જવાબ દર જ નહીં - પરંતુ ત્યાગ / અનિશ્ચિતતા વર્તનનો સમાવેશ થવો જોઈએ. [2]
વાસ્તવિક દુનિયાની ઘટનાઓ અને કામગીરીમાં નિષ્ફળતાઓ 🚨
એક મજબૂત મોડેલ પણ સિસ્ટમ તરીકે નિષ્ફળ થઈ શકે છે: ખરાબ પુનઃપ્રાપ્તિ, જૂનો ડેટા, તૂટેલા રેલિંગ, અથવા વર્કફ્લો જે સલામતી તપાસની આસપાસ મોડેલને શાંતિથી ફેરવે છે. આધુનિક માર્ગદર્શન ચોકસાઈને ફક્ત મોડેલ સ્કોર જ નહીં, પરંતુ વ્યાપક સિસ્ટમ વિશ્વસનીયતાના. [1]
૬) ઓછી આંકવામાં આવેલી સુપરપાવર: કેલિબ્રેશન (ઉર્ફે "તમે જે નથી જાણતા તે જાણવું") 🎚️🧠
જ્યારે બે મોડેલોમાં સમાન "ચોકસાઈ" હોય, ત્યારે પણ એક વધુ સુરક્ષિત હોઈ શકે છે કારણ કે તે:
-
અનિશ્ચિતતાને યોગ્ય રીતે વ્યક્ત કરે છે
-
વધુ પડતા આત્મવિશ્વાસવાળા ખોટા જવાબો ટાળે છે
-
વાસ્તવિકતા સાથે મેળ ખાતી સંભાવનાઓ આપે છે
માપાંકન ફક્ત શૈક્ષણિક નથી - તે આત્મવિશ્વાસને કાર્યક્ષમ. આધુનિક ન્યુરલ નેટમાં એક ઉત્તમ શોધ એ છે કે જ્યાં સુધી તમે સ્પષ્ટ રીતે માપાંકન ન કરો અથવા તેને માપો નહીં ત્યાં સુધી આત્મવિશ્વાસ સ્કોર ખોટી રીતે ગોઠવાઈ . [3]
જો તમારી પાઇપલાઇન "0.9 થી ઉપર સ્વતઃ-મંજૂરી" જેવા થ્રેશોલ્ડનો ઉપયોગ કરે છે, તો કેલિબ્રેશન એ "ઓટોમેશન" અને "ઓટોમેટેડ કેઓસ" વચ્ચેનો તફાવત છે
૭) વિવિધ AI પ્રકારો માટે AI ચોકસાઈનું મૂલ્યાંકન કેવી રીતે કરવામાં આવે છે 🧩📚
ક્લાસિક આગાહી મોડેલો માટે (વર્ગીકરણ/રીગ્રેશન) 📊
સામાન્ય માપદંડ:
-
ચોકસાઈ, ચોકસાઈ, રિકોલ, F1
-
ROC-AUC / PR-AUC (ઘણીવાર અસંતુલિત સમસ્યાઓ માટે વધુ સારું)
-
માપાંકન તપાસ (વિશ્વસનીયતા વક્ર, અપેક્ષિત માપાંકન ભૂલ-શૈલી વિચારસરણી) [3]
ભાષા મોડેલ અને સહાયકો માટે 💬
મૂલ્યાંકન બહુ-પરિમાણીય બને છે:
-
શુદ્ધતા (જ્યાં કાર્યમાં સત્યની સ્થિતિ હોય છે)
-
સૂચના-અનુસાર
-
સલામતી અને ઇનકાર વર્તન (સારા ઇનકાર વિચિત્ર રીતે મુશ્કેલ હોય છે)
-
વાસ્તવિક ગ્રાઉન્ડિંગ / સંદર્ભ શિસ્ત (જ્યારે તમારા ઉપયોગના કિસ્સામાં તેની જરૂર હોય)
-
પ્રોમ્પ્ટ અને વપરાશકર્તા શૈલીઓમાં મજબૂતાઈ
"સાકલ્યવાદી" મૂલ્યાંકન વિચારસરણીનું એક મોટું યોગદાન એ છે કે આ મુદ્દાને સ્પષ્ટ કરવામાં આવે: બહુવિધ પરિસ્થિતિઓમાં બહુવિધ મેટ્રિક્સની જરૂર છે, કારણ કે ટ્રેડઓફ વાસ્તવિક છે. [5]
LLM (વર્કફ્લો, એજન્ટો, પુનઃપ્રાપ્તિ) પર બનેલ સિસ્ટમો માટે 🧰
હવે તમે આખી પાઇપલાઇનનું મૂલ્યાંકન કરી રહ્યા છો:
-
પુનઃપ્રાપ્તિ ગુણવત્તા (શું તે યોગ્ય માહિતી મેળવી શક્યું?)
-
ટૂલ લોજિક (શું તે પ્રક્રિયાને અનુસરે છે?)
-
આઉટપુટ ગુણવત્તા (શું તે યોગ્ય અને ઉપયોગી છે?)
-
ગાર્ડરેલ્સ (શું તે જોખમી વર્તન ટાળ્યું?)
-
દેખરેખ (શું તમને જંગલમાં નિષ્ફળતાઓ મળી?) [1]
ગમે ત્યાં નબળી કડી આખી સિસ્ટમને "અચોક્કસ" બનાવી શકે છે, ભલે બેઝ મોડેલ યોગ્ય હોય.
8) સરખામણી કોષ્ટક: "AI કેટલું સચોટ છે?" નું મૂલ્યાંકન કરવાની વ્યવહારુ રીતો 🧾⚖️
| સાધન / અભિગમ | માટે શ્રેષ્ઠ | ખર્ચનો અંદાજ | તે કેમ કામ કરે છે |
|---|---|---|---|
| ઉપયોગ-કેસ પરીક્ષણ સ્યુટ્સ | LLM એપ્લિકેશન્સ + કસ્ટમ સફળતા માપદંડ | મુક્ત-પ્રેમી | તમે તમારા વર્કફ્લોનું પરીક્ષણ કરો છો, રેન્ડમ લીડરબોર્ડ નહીં. |
| મલ્ટી-મેટ્રિક, દૃશ્ય કવરેજ | જવાબદારીપૂર્વક મોડેલોની સરખામણી કરવી | મુક્ત-પ્રેમી | તમને એક પણ જાદુઈ નંબર નહીં, પણ ક્ષમતા "પ્રોફાઇલ" મળે છે. [5] |
| જીવનચક્ર જોખમ + મૂલ્યાંકન માનસિકતા | ઉચ્ચ-દાવવાળી સિસ્ટમોને કઠોરતાની જરૂર છે | મુક્ત-પ્રેમી | તમને સતત વ્યાખ્યાયિત કરવા, માપવા, સંચાલન કરવા અને દેખરેખ રાખવા માટે દબાણ કરે છે. [1] |
| માપાંકન તપાસ | વિશ્વાસ થ્રેશોલ્ડનો ઉપયોગ કરતી કોઈપણ સિસ્ટમ | મુક્ત-પ્રેમી | "90% ખાતરી કરો" નો કોઈ અર્થ થાય છે કે નહીં તે ચકાસે છે. [3] |
| માનવ સમીક્ષા પેનલ્સ | સલામતી, સ્વર, સૂક્ષ્મતા, "શું આ હાનિકારક લાગે છે?" | $$ | માનવીઓ એવા સંદર્ભ અને નુકસાનને પકડી લે છે જે ઓટોમેટેડ મેટ્રિક્સ ચૂકી જાય છે. |
| ઘટના દેખરેખ + પ્રતિસાદ લૂપ્સ | વાસ્તવિક દુનિયાની નિષ્ફળતાઓમાંથી શીખવું | મુક્ત-પ્રેમી | વાસ્તવિકતામાં રસીદો હોય છે - અને ઉત્પાદન ડેટા તમને મંતવ્યો કરતાં વધુ ઝડપથી શીખવે છે. [1] |
ફોર્મેટિંગ વિચિત્ર કબૂલાત: "ફ્રી-ઇશ" અહીં ઘણું કામ કરી રહ્યું છે કારણ કે વાસ્તવિક ખર્ચ ઘણીવાર લોકોના કલાકો છે, લાઇસન્સ નહીં 😅
9) AI ને વધુ સચોટ કેવી રીતે બનાવવું (વ્યવહારુ લિવર) 🔧✨
વધુ સારો ડેટા અને વધુ સારા પરીક્ષણો 📦🧪
-
એજ કેસ વિસ્તૃત કરો
-
દુર્લભ-પણ-મહત્વપૂર્ણ પરિસ્થિતિઓને સંતુલિત કરો
-
એક "ગોલ્ડ સેટ" રાખો જે વાસ્તવિક વપરાશકર્તા પીડા રજૂ કરે છે (અને તેને અપડેટ કરતા રહો)
વાસ્તવિક કાર્યો માટે ગ્રાઉન્ડિંગ 📚🔍
જો તમને વાસ્તવિક વિશ્વસનીયતાની જરૂર હોય, તો વિશ્વસનીય દસ્તાવેજોમાંથી મેળવેલી સિસ્ટમોનો ઉપયોગ કરો અને તેના આધારે જવાબ આપો. ઘણા બધા જનરેટિવ AI જોખમ માર્ગદર્શન દસ્તાવેજીકરણ, ઉત્પત્તિ અને મૂલ્યાંકન સેટઅપ્સ પર ધ્યાન કેન્દ્રિત કરે છે જે ફક્ત મોડેલ "વર્તન કરે છે" તેવી આશા રાખવાને બદલે બનાવેલી સામગ્રી ઘટાડે છે . [2]
મજબૂત મૂલ્યાંકન લૂપ્સ 🔁
-
દરેક અર્થપૂર્ણ પરિવર્તનનું મૂલ્યાંકન કરો
-
રીગ્રેશન માટે જુઓ
-
વિચિત્ર સંકેતો અને દૂષિત ઇનપુટ્સ માટે સ્ટ્રેસ ટેસ્ટ
માપાંકિત વર્તનને પ્રોત્સાહન આપો 🙏
-
"મને ખબર નથી" ને ખૂબ સખત સજા ન કરો
-
ફક્ત જવાબ દર જ નહીં, પણ ગેરહાજરીની ગુણવત્તાનું મૂલ્યાંકન કરો
-
આત્મવિશ્વાસને એવી વસ્તુ તરીકે માનો જેને તમે માપો છો અને માન્ય કરો છો, એવી વસ્તુ તરીકે નહીં જેને તમે વાઇબ્સ પર સ્વીકારો છો [3]
૧૦) એક ઝડપી આંતરડાની તપાસ: તમારે AI ચોકસાઈ પર ક્યારે વિશ્વાસ કરવો જોઈએ? 🧭🤔
વધુ વિશ્વાસ ત્યારે કરો જ્યારે:
-
કાર્ય સાંકડું અને પુનરાવર્તિત છે
-
આઉટપુટ આપમેળે ચકાસી શકાય છે
-
સિસ્ટમનું નિરીક્ષણ અને અપડેટ કરવામાં આવે છે
-
આત્મવિશ્વાસ માપાંકિત થાય છે, અને તે દૂર રહી શકે છે [3]
જ્યારે: ત્યારે ઓછો વિશ્વાસ કરો:
-
દાવ ઊંચો છે અને પરિણામો વાસ્તવિક છે
-
પ્રોમ્પ્ટ ઓપન-એન્ડેડ છે ("મને બધું કહો...") 😵💫
-
કોઈ ગ્રાઉન્ડિંગ નથી, કોઈ ચકાસણી પગલું નથી, કોઈ માનવ સમીક્ષા નથી
-
સિસ્ટમ મૂળભૂત રીતે વિશ્વાસપૂર્વક કાર્ય કરે છે [2]
થોડી ખામીયુક્ત રૂપક: ઊંચા દાવવાળા નિર્ણયો માટે ચકાસાયેલ ન હોય તેવા AI પર આધાર રાખવો એ તડકામાં બેઠેલી સુશી ખાવા જેવું છે... તે ઠીક હોઈ શકે છે, પરંતુ તમારું પેટ એક જુગાર રમી રહ્યું છે જેના માટે તમે સાઇન અપ કર્યું નથી.
૧૧) સમાપન નોંધો અને ઝડપી સારાંશ 🧃✅
તો, AI કેટલું સચોટ છે? AI અતિ સચોટ હોઈ શકે છે - પરંતુ તે ફક્ત નિર્ધારિત કાર્ય, માપન પદ્ધતિ અને તે જે વાતાવરણમાં ઉપયોગમાં લેવાય છે તેના સંદર્ભમાં . અને જનરેટિવ AI માટે, "ચોકસાઈ" ઘણીવાર એક જ સ્કોર વિશે ઓછી અને વિશ્વસનીય સિસ્ટમ ડિઝાઇન વિશે વધુ હોય છે : ગ્રાઉન્ડિંગ, કેલિબ્રેશન, કવરેજ, દેખરેખ અને પ્રામાણિક મૂલ્યાંકન. [1][2][5]
ઝડપી સારાંશ 🎯
-
"ચોકસાઈ" એ એક માત્ર સ્કોર નથી - તે શુદ્ધતા, માપાંકન, મજબૂતાઈ, વિશ્વસનીયતા અને (જનરેટિવ AI માટે) સત્યતા છે. [1][2][3]
-
બેન્ચમાર્ક મદદ કરે છે, પરંતુ ઉપયોગ-કેસ મૂલ્યાંકન તમને પ્રમાણિક રાખે છે. [5]
-
જો તમને વાસ્તવિક વિશ્વસનીયતાની જરૂર હોય, તો ગ્રાઉન્ડિંગ + ચકાસણી પગલાં + ત્યાગનું મૂલ્યાંકન ઉમેરો. [2]
-
જીવનચક્ર મૂલ્યાંકન એ પુખ્ત વયનો અભિગમ છે… ભલે તે લીડરબોર્ડ સ્ક્રીનશોટ કરતાં ઓછો રોમાંચક હોય. [1]
વાસ્તવિક દુનિયાનું ઉદાહરણ: AI સપોર્ટ-ટ્રાયેજ સહાયકનું માપન
દૃશ્ય
કલ્પના કરો કે એક નાની SaaS કંપની ઇનકમિંગ સપોર્ટ ટિકિટોને ચાર કતારોમાં સૉર્ટ કરવા માટે AI નો ઉપયોગ કરવા માંગે છે:
બિલિંગ
લોગિન સમસ્યાઓ
બગ રિપોર્ટ્સ
સુવિધા વિનંતીઓ
કંપની નથી . તેનું કામ સાંકડું છે: ટિકિટ વાંચો, યોગ્ય કતાર પસંદ કરો, આત્મવિશ્વાસ સ્કોર આપો અને માનવ સમીક્ષા માટે અનિશ્ચિત કોઈપણ વસ્તુને ચિહ્નિત કરો.
તે ચોકસાઈની સમસ્યાનું પરીક્ષણ કરવાનું ખૂબ સરળ બનાવે છે. એક સ્પષ્ટ "સાચી" કતાર છે, માણસ ભૂલોની સમીક્ષા કરી શકે છે, અને ટીમ માપી શકે છે કે AI ફક્ત મદદરૂપ લાગવાને બદલે મદદ કરી રહ્યું છે કે નહીં.
સહાયકને શું જોઈએ છે
આનું યોગ્ય રીતે પરીક્ષણ કરવા માટે, ટીમ તૈયાર કરે છે:
૧૦૦ વાસ્તવિક અથવા વાસ્તવિક સપોર્ટ ટિકિટનો લેબલ થયેલ ટેસ્ટ સેટ
દરેક ટિકિટ માટે યોગ્ય કતાર, માનવ સમીક્ષક દ્વારા સંમત
દરેક કતારમાં શું શામેલ છે તે સમજાવતી ટૂંકી નીતિ
જ્યારે આત્મવિશ્વાસ ઓછો હોય ત્યારે સહાયકે "માનવ સમીક્ષાની જરૂર છે" એવો નિયમ કહેવો જોઈએ
ટિકિટ આઈડી, એઆઈ કતાર, માનવ કતાર, આત્મવિશ્વાસ સ્કોર, સમીક્ષા પરિણામ અને લેવાયેલ સમય સાથે એક સરળ ટ્રેકિંગ શીટ
ઉદાહરણ સૂચના
તમે સપોર્ટ-ટ્રેજ આસિસ્ટન્ટ છો. ગ્રાહક સંદેશ વાંચો અને તેને એક કતારમાં સોંપો: બિલિંગ, લોગિન સમસ્યાઓ, બગ રિપોર્ટ્સ, ફીચર વિનંતીઓ, અથવા માનવ સમીક્ષાની જરૂર છે.
ઇન્વોઇસ, રિફંડ, ચુકવણી નિષ્ફળતા, યોજનામાં ફેરફાર અને સબ્સ્ક્રિપ્શન પ્રશ્નો માટે બિલિંગનો ઉપયોગ કરો.
પાસવર્ડ રીસેટ, એકાઉન્ટ એક્સેસ, ટુ-ફેક્ટર ઓથેન્ટિકેશન, લૉક કરેલા એકાઉન્ટ્સ અથવા ઇમેઇલ વેરિફિકેશન સમસ્યાઓ માટે લોગિન સમસ્યાઓનો ઉપયોગ કરો.
તૂટેલી સુવિધાઓ, ભૂલ સંદેશાઓ, ગુમ થયેલ ડેટા, ક્રેશ અથવા ઉત્પાદન દસ્તાવેજો સાથે મેળ ન ખાતી વર્તણૂક માટે બગ રિપોર્ટ્સનો ઉપયોગ કરો.
જ્યારે ગ્રાહક નવી ક્ષમતા, એકીકરણ, સેટિંગ અથવા વર્કફ્લો સુધારણા માટે પૂછતો હોય ત્યારે સુવિધા વિનંતીઓનો ઉપયોગ કરો.
જો સંદેશ અસ્પષ્ટ હોય, એક કરતાં વધુ સમસ્યાઓ ધરાવતો હોય, અથવા સુરક્ષા અથવા ગોપનીયતાને અસર કરી શકે, તો "માનવ સમીક્ષાની જરૂર છે" પસંદ કરો.
વળતર: કતાર, 0 થી 100 સુધીનો વિશ્વાસ, એક વાક્યનું કારણ, અને શું કોઈ વ્યક્તિએ તે તપાસવું જોઈએ.
તેનું પરીક્ષણ કેવી રીતે કરવું
ઉત્પાદનમાં સિસ્ટમ પર વિશ્વાસ કરતા પહેલા એક નાના "ગોલ્ડ સેટ" થી શરૂઆત કરો.
દાખ્લા તરીકે:
20 બિલિંગ ટિકિટ
20 લોગિન ટિકિટ
20 બગ રિપોર્ટ્સ
20 સુવિધા વિનંતીઓ
20 ગૂંચવાયેલી અથવા અસ્પષ્ટ ટિકિટો
પછી બધી 100 ટિકિટો પર સહાયક ચલાવો અને તેની પસંદ કરેલી કતારની તુલના માનવ-મંજૂર કતાર સાથે કરો.
મદદરૂપ તપાસમાં શામેલ છે:
એકંદર ચોકસાઈ: કેટલી ટિકિટો સાચી કતારમાં ગઈ?
કતાર પ્રમાણે ચોકસાઈ: જ્યારે AI "બિલિંગ" કહે છે, ત્યારે તે કેટલી વાર બિલિંગ થાય છે?
કતાર દ્વારા યાદ કરો: તેણે કેટલી વાસ્તવિક બિલિંગ ટિકિટો પકડી?
એસ્કેલેશન ગુણવત્તા: શું તે માનવ સમીક્ષા માટે ગૂંચવાયેલી ટિકિટોને યોગ્ય રીતે મોકલી હતી?
માપાંકન: જ્યારે તે 90% કે તેથી વધુ આત્મવિશ્વાસ કહેતું હતું, ત્યારે શું તે મોટાભાગે સાચું હતું?
પરિણામ
ઉદાહરણરૂપ પરિણામ: આ વર્કફ્લોનો ઉપયોગ કરતા પહેલા અને પછી 100 નમૂના ટિકિટોના સમય પર આધારિત.
આસિસ્ટન્ટનો ઉપયોગ કરતા પહેલા, સપોર્ટ લીડ દરેક ટિકિટ વાંચવામાં અને મેન્યુઅલી રૂટ કરવામાં લગભગ 2 મિનિટ 30 સેકન્ડનો સમય વિતાવતો હતો. 100 ટિકિટ માટે, તે લગભગ 250 મિનિટનું ટ્રાયજ કાર્ય હતું.
આસિસ્ટન્ટનો ઉપયોગ કર્યા પછી, સપોર્ટ લીડે ફક્ત AI ની કતાર પસંદગીની સમીક્ષા કરી અને ઓછા વિશ્વાસના કેસોની તપાસ કરી. સમીક્ષા સમય પ્રતિ ટિકિટ લગભગ 55 સેકન્ડ અથવા 100 ટિકિટ માટે આશરે 92 મિનિટ થઈ ગયો
એટલે કે , પ્રતિ 100 ટિકિટ 158 મિનિટની બચત થાય છે , અથવા ટ્રાયજ સમયમાં લગભગ 63% ઘટાડો થાય છે .
કાલ્પનિક 100-ટિકિટ ટેસ્ટ સેટ પર ચોકસાઈ આના જેવી દેખાતી હતી:
એકંદર કતાર ચોકસાઈ: 87/100 ટિકિટ સાચી
૮૫% થી વધુ ઉચ્ચ વિશ્વાસ ધરાવતી ટિકિટ: ૬૧ ટિકિટ
ઉચ્ચ-વિશ્વાસ ટિકિટ પર ચોકસાઈ: 58/61 સાચી
માનવ સમીક્ષા માટે ટિકિટ મોકલવામાં આવી: 18 ટિકિટ
અસ્પષ્ટ ટિકિટો યોગ્ય રીતે વધી: 15/20
મહત્વપૂર્ણ વિગત ફક્ત ૮૭% ચોકસાઈ જ નથી. વધુ સુરક્ષિત પરિણામ એ છે કે સહાયક આત્મવિશ્વાસ સાથે વધુ સચોટ અને અનુમાન લગાવવાને બદલે ઘણા અસ્પષ્ટ કેસોને માનવ તરફ ધકેલી દેતો હતો. મદદરૂપ ઓટોમેશન અને આત્મવિશ્વાસપૂર્ણ બકવાસ વચ્ચે આ જ તફાવત છે.
શું ખોટું થઈ શકે છે?
સૌથી સામાન્ય ભૂલ ફક્ત સ્વચ્છ ઉદાહરણોનું પરીક્ષણ કરવાની છે. વાસ્તવિક ટિકિટો ગૂંચવાયેલી હોય છે. ગ્રાહક લખી શકે છે: "મારી પાસેથી બે વાર ચાર્જ લેવામાં આવ્યો હતો અને હવે હું લોગ ઇન કરી શકતો નથી." તે બિલિંગ, લોગિન સમસ્યાઓ અથવા કંપનીની પ્રક્રિયાના આધારે માનવ સમીક્ષાની જરૂર હોઈ શકે છે.
અન્ય જોખમોમાં શામેલ છે:
જૂની ટિકિટોનો ઉપયોગ જે હવે ઉત્પાદન સાથે મેળ ખાતી નથી
સપોર્ટ હેન્ડબુકમાં ન હોય તેવા નીતિ નિયમો AI ને શોધવા દેવા
કેલિબ્રેશન તપાસ્યા વિના કોન્ફિડન્સ સ્કોર્સને વિશ્વસનીય ગણવા
ફક્ત એકંદર ચોકસાઈ માપવી અને એક કતારમાં ખરાબ પ્રદર્શન ખૂટે છે
"માનવ સમીક્ષાની જરૂર છે" એવી કડક સજા કરવી કે સહાયક અનુમાન લગાવવા લાગે
એક સારા પરીક્ષણથી યોગ્ય વિકાસને પુરસ્કાર મળવો જોઈએ. ઘણા વ્યવસાયિક કાર્યપ્રવાહ માટે, "મને ખાતરી નથી" એ નિષ્ફળતા નથી. તે એક સલામતી સુવિધા છે.
વ્યવહારુ ઉપાય
"AI કેટલું સચોટ છે?" નો જવાબ આપવાનો શ્રેષ્ઠ રસ્તો એ છે કે તેને સારાંશમાં પૂછવાનું બંધ કરો. એક કાર્ય પસંદ કરો, એક નાનો પરીક્ષણ સમૂહ બનાવો, શું સાચું ગણાય છે તે વ્યાખ્યાયિત કરો, શ્રેણી દ્વારા ભૂલો માપો, અને તપાસો કે AI જાણે છે કે ક્યારે કોઈ વ્યક્તિને કાર્ય પાછું સોંપવું. તે તમને એક ચોક્કસ ચોકસાઈ નંબર આપે છે જે તમે સુધારી શકો છો - ફક્ત પોલિશ્ડ બેન્ચમાર્ક સ્કોર જ નહીં.
વારંવાર પૂછાતા પ્રશ્નો
વ્યવહારુ ઉપયોગિતામાં AI ચોકસાઈ
જ્યારે કાર્ય સંકુચિત, સારી રીતે વ્યાખ્યાયિત અને સ્પષ્ટ જમીની સત્ય સાથે જોડાયેલું હોય ત્યારે AI અત્યંત સચોટ હોઈ શકે છે. ઉત્પાદન ઉપયોગમાં, "ચોકસાઈ" તમારા મૂલ્યાંકન ડેટા ઘોંઘાટીયા વપરાશકર્તા ઇનપુટ્સને પ્રતિબિંબિત કરે છે કે કેમ અને ક્ષેત્રમાં તમારી સિસ્ટમ કઈ પરિસ્થિતિઓનો સામનો કરશે તેના પર નિર્ભર છે. જેમ જેમ કાર્યો વધુ ખુલ્લા (ચેટબોટ્સ જેવા) બને છે, તેમ તેમ ભૂલો અને આત્મવિશ્વાસપૂર્ણ આભાસ વધુ વખત દેખાય છે સિવાય કે તમે ગ્રાઉન્ડિંગ, ચકાસણી અને દેખરેખ ઉમેરો.
શા માટે "ચોકસાઈ" એ એક એવો સ્કોર નથી જેના પર તમે વિશ્વાસ કરી શકો
લોકો "ચોકસાઈ" નો ઉપયોગ અલગ અલગ વસ્તુઓ માટે કરે છે: ચોકસાઈ, ચોકસાઈ વિરુદ્ધ રિકોલ, કેલિબ્રેશન, મજબૂતાઈ અને વિશ્વસનીયતા. એક મોડેલ સ્વચ્છ પરીક્ષણ સેટ પર ઉત્તમ દેખાઈ શકે છે, પછી શબ્દસમૂહોમાં ફેરફાર, ડેટા ડ્રિફ્ટ અથવા દાવ બદલાતી વખતે ઠોકર ખાઈ શકે છે. વિશ્વાસ-કેન્દ્રિત મૂલ્યાંકન એક સંખ્યાને સાર્વત્રિક ચુકાદા તરીકે ગણવાને બદલે બહુવિધ મેટ્રિક્સ અને દૃશ્યોનો ઉપયોગ કરે છે.
ચોક્કસ કાર્ય માટે AI ચોકસાઈ માપવાની શ્રેષ્ઠ રીત
કાર્યને એવી રીતે વ્યાખ્યાયિત કરીને શરૂઆત કરો કે "સાચું" અને "ખોટું" અસ્પષ્ટ નહીં, પણ પરીક્ષણ યોગ્ય હોય. વાસ્તવિક વપરાશકર્તાઓ અને ધારવાળા કેસોને પ્રતિબિંબિત કરતા પ્રતિનિધિ, ઘોંઘાટીયા પરીક્ષણ ડેટાનો ઉપયોગ કરો. પરિણામો સાથે મેળ ખાતા મેટ્રિક્સ પસંદ કરો, ખાસ કરીને અસંતુલિત અથવા ઉચ્ચ-જોખમવાળા નિર્ણયો માટે. પછી વિતરણની બહારના તણાવ પરીક્ષણો ઉમેરો અને સમય જતાં તમારું વાતાવરણ વિકસિત થાય તેમ ફરીથી મૂલ્યાંકન કરતા રહો.
વ્યવહારમાં ચોકસાઈ અને રિકોલ કેવી રીતે ચોકસાઈને આકાર આપે છે
વિવિધ નિષ્ફળતા ખર્ચ માટે ચોકસાઇ અને રિકોલ મેપ: ચોકસાઇ ખોટા એલાર્મ ટાળવા પર ભાર મૂકે છે, જ્યારે રિકોલ બધું પકડવા પર ભાર મૂકે છે. જો તમે સ્પામ ફિલ્ટર કરી રહ્યા છો, તો થોડી ભૂલો સ્વીકાર્ય હોઈ શકે છે, પરંતુ ખોટા હકારાત્મકતા વપરાશકર્તાઓને હતાશ કરી શકે છે. અન્ય સેટિંગ્સમાં, દુર્લભ-પરંતુ-ગંભીર કેસ ચૂકી જવાથી વધારાના ફ્લેગ્સ કરતાં વધુ મહત્વનો ભાગ ભજવે છે. યોગ્ય સંતુલન તમારા કાર્યપ્રવાહમાં "ખોટા" ખર્ચ પર શું આધાર રાખે છે તેના પર આધાર રાખે છે.
કેલિબ્રેશન શું છે અને ચોકસાઈ માટે તે શા માટે મહત્વપૂર્ણ છે
કેલિબ્રેશન તપાસે છે કે મોડેલનો આત્મવિશ્વાસ વાસ્તવિકતા સાથે મેળ ખાય છે કે નહીં - જ્યારે તે "90% ખાતરી કરો" કહે છે, ત્યારે શું તે લગભગ 90% સમય સાચું છે? જ્યારે પણ તમે 0.9 થી ઉપર ઓટો-એપ્રુવ જેવા થ્રેશોલ્ડ સેટ કરો છો ત્યારે આ મહત્વપૂર્ણ છે. બે મોડેલમાં સમાન ચોકસાઈ હોઈ શકે છે, પરંતુ વધુ સારી રીતે માપાંકિત કરેલ મોડેલ વધુ સુરક્ષિત છે કારણ કે તે વધુ પડતા આત્મવિશ્વાસવાળા ખોટા જવાબોને ઘટાડે છે અને સ્માર્ટ એબસ્ટેન વર્તણૂકને સમર્થન આપે છે.
જનરેટિવ AI ચોકસાઈ, અને ભ્રમ શા માટે થાય છે
જનરેટિવ AI તથ્યો પર આધારિત ન હોય ત્યારે પણ અસ્ખલિત, બુદ્ધિગમ્ય ટેક્સ્ટ ઉત્પન્ન કરી શકે છે. ચોકસાઈ નક્કી કરવી મુશ્કેલ બને છે કારણ કે ઘણા પ્રોમ્પ્ટ બહુવિધ સ્વીકાર્ય જવાબો આપે છે, અને મોડેલોને કડક શુદ્ધતાને બદલે "સહાયકતા" માટે ઑપ્ટિમાઇઝ કરી શકાય છે. જ્યારે આઉટપુટ ઉચ્ચ વિશ્વાસ સાથે આવે છે ત્યારે ભ્રમણા ખાસ કરીને જોખમી બની જાય છે. વાસ્તવિક ઉપયોગના કિસ્સાઓમાં, વિશ્વસનીય દસ્તાવેજો અને ચકાસણી પગલાંમાં ગ્રાઉન્ડિંગ બનાવટી સામગ્રી ઘટાડવામાં મદદ કરે છે.
વિતરણ શિફ્ટ અને વિતરણ બહારના ઇનપુટ્સ માટે પરીક્ષણ
જ્યારે દુનિયા બદલાય છે ત્યારે ઇન-ડિસ્ટ્રિબ્યુશન બેન્ચમાર્ક કામગીરીને વધારે પડતી બતાવી શકે છે. સિસ્ટમ ક્યાં પડી ભાંગે છે તે જોવા માટે અસામાન્ય શબ્દસમૂહો, ટાઇપો, અસ્પષ્ટ ઇનપુટ્સ, નવા સમયગાળા અને નવી શ્રેણીઓ સાથે પરીક્ષણ કરો. WILDS જેવા બેન્ચમાર્ક આ વિચારની આસપાસ બાંધવામાં આવ્યા છે: જ્યારે ડેટા બદલાય છે ત્યારે કામગીરીમાં તીવ્ર ઘટાડો થઈ શકે છે. તણાવ પરીક્ષણને મૂલ્યાંકનના મુખ્ય ભાગ તરીકે ગણો, એક સરસ વસ્તુ તરીકે નહીં.
સમય જતાં AI સિસ્ટમને વધુ સચોટ બનાવવી
એજ કેસનો વિસ્તાર કરીને, દુર્લભ-પરંતુ-નિર્ણાયક દૃશ્યોને સંતુલિત કરીને અને વાસ્તવિક વપરાશકર્તા પીડાને પ્રતિબિંબિત કરતા "ગોલ્ડ સેટ" જાળવીને ડેટા અને પરીક્ષણોમાં સુધારો કરો. વાસ્તવિક કાર્યો માટે, મોડેલ વર્તે તેવી આશા રાખવાને બદલે ગ્રાઉન્ડિંગ અને ચકાસણી ઉમેરો. દરેક અર્થપૂર્ણ પરિવર્તન પર મૂલ્યાંકન ચલાવો, રીગ્રેશન પર નજર રાખો અને ડ્રિફ્ટ માટે ઉત્પાદનમાં દેખરેખ રાખો. ઉપરાંત, ત્યાગનું મૂલ્યાંકન કરો જેથી "મને ખબર નથી" ને આત્મવિશ્વાસપૂર્ણ અનુમાન લગાવવામાં સજા ન મળે.
સંદર્ભ
[1] NIST AI RMF 1.0 (NIST AI 100-1): સમગ્ર જીવનચક્રમાં AI જોખમોને ઓળખવા, મૂલ્યાંકન કરવા અને તેનું સંચાલન કરવા માટે એક વ્યવહારુ માળખું. વધુ વાંચો
[2] NIST જનરેટિવ AI પ્રોફાઇલ (NIST AI 600-1): AI RMF માટે એક સાથી પ્રોફાઇલ જે જનરેટિવ AI સિસ્ટમ્સ માટે વિશિષ્ટ જોખમ વિચારણાઓ પર ધ્યાન કેન્દ્રિત કરે છે. વધુ વાંચો
[3] Guo et al. (2017) - આધુનિક ન્યુરલ નેટવર્ક્સનું માપાંકન: આધુનિક ન્યુરલ નેટવર્ક્સને કેવી રીતે ખોટી રીતે માપાંકિત કરી શકાય છે અને માપાંકન કેવી રીતે સુધારી શકાય છે તે દર્શાવતું પાયાનું પેપર. વધુ વાંચો
[4] Koh et al. (2021) - WILDS બેન્ચમાર્ક: વાસ્તવિક-વિશ્વ વિતરણ શિફ્ટ હેઠળ મોડેલ પ્રદર્શનનું પરીક્ષણ કરવા માટે રચાયેલ એક બેન્ચમાર્ક સ્યુટ. વધુ વાંચો
[5] Liang et al. (2023) - HELM (ભાષા મોડેલ્સનું હોલિસ્ટિક મૂલ્યાંકન): વાસ્તવિક ટ્રેડઓફ્સ સપાટી પર લાવવા માટે દૃશ્યો અને મેટ્રિક્સમાં ભાષા મોડેલ્સનું મૂલ્યાંકન કરવા માટેનું માળખું. વધુ વાંચો