AI પ્રીપ્રોસેસિંગ શું છે? [વિડિઓ અને ક્વિઝ]

ટૂંકો જવાબ: AI પ્રીપ્રોસેસિંગ એ પુનરાવર્તિત પગલાંઓનો સમૂહ છે જે કાચા, ઉચ્ચ-વિચલન ડેટાને સુસંગત મોડેલ ઇનપુટ્સમાં ફેરવે છે, જેમાં સફાઈ, એન્કોડિંગ, સ્કેલિંગ, ટોકનાઇઝિંગ અને છબી પરિવર્તનનો સમાવેશ થાય છે. તે મહત્વનું છે કારણ કે જો તાલીમ ઇનપુટ્સ અને ઉત્પાદન ઇનપુટ્સ અલગ હોય, તો મોડેલો શાંતિથી નિષ્ફળ થઈ શકે છે. જો કોઈ પગલું પરિમાણો "શીખે છે", તો લીકેજ ટાળવા માટે તેને ફક્ત તાલીમ ડેટા પર ફિટ કરો.

AI પ્રીપ્રોસેસિંગ એ બધું છે જે તમે તાલીમ પહેલાં (અને ક્યારેક દરમિયાન) કાચા ડેટા પર કરો છો જેથી મોડેલ ખરેખર તેમાંથી શીખી શકે. ફક્ત "સફાઈ" જ નહીં. તે ડેટાને સાફ કરવા, આકાર આપવા, સ્કેલિંગ કરવા, એન્કોડિંગ કરવા, વધારવા અને પેકેજિંગ કરવા માટે છે જે પછીથી તમારા મોડેલને શાંતિથી ટ્રિપર નહીં કરે. [1]

મુખ્ય બાબતો:

વ્યાખ્યા: પ્રીપ્રોસેસિંગ કાચા કોષ્ટકો, ટેક્સ્ટ, છબીઓ અને લોગને મોડેલ-તૈયાર સુવિધાઓમાં રૂપાંતરિત કરે છે.

સુસંગતતા: તાલીમ અને અનુમાન દરમિયાન સમાન પરિવર્તનો લાગુ કરો જેથી મિસમેચ નિષ્ફળતાઓ ટાળી શકાય.

લીકેજ: ફક્ત તાલીમ ડેટા પર સ્કેલર, એન્કોડર્સ અને ટોકનાઇઝર્સ ફિટ કરો.

પ્રજનનક્ષમતા: નિરીક્ષણયોગ્ય આંકડાઓ સાથે પાઇપલાઇન્સ બનાવો, એડ-હોક નોટબુક સેલ સિક્વન્સ સાથે નહીં.

ઉત્પાદન દેખરેખ: સ્ક્યુ અને ડ્રિફ્ટને ટ્રેક કરો જેથી ઇનપુટ્સ ધીમે ધીમે કામગીરીને બગાડે નહીં.

આ પછી તમને વાંચવા ગમશે તેવા લેખો:

🔗 વાસ્તવિક દુનિયાના પ્રદર્શન માટે AI મોડેલ્સનું પરીક્ષણ કેવી રીતે કરવું
ચોકસાઈ, મજબૂતાઈ અને પૂર્વગ્રહનું ઝડપથી મૂલ્યાંકન કરવા માટેની વ્યવહારુ પદ્ધતિઓ.

🔗 શું ટેક્સ્ટ-ટુ-સ્પીચ AI છે અને તે કેવી રીતે કાર્ય કરે છે?
TTS ની મૂળભૂત બાબતો, મુખ્ય ઉપયોગો અને આજની સામાન્ય મર્યાદાઓ સમજાવે છે.

🔗 શું આજે AI કર્સિવ હેન્ડરાઇટિંગ સચોટ રીતે વાંચી શકે છે?
ઓળખ પડકારો, શ્રેષ્ઠ સાધનો અને ચોકસાઈ ટિપ્સ આવરી લે છે.

🔗 સામાન્ય કાર્યોમાં AI કેટલું સચોટ છે?
ચોકસાઈ પરિબળો, બેન્ચમાર્ક અને વાસ્તવિક દુનિયાની વિશ્વસનીયતાને તોડે છે.

સરળ ભાષામાં AI પ્રીપ્રોસેસિંગ (અને તે શું નથી) 🤝

AI પ્રીપ્રોસેસિંગ એ કાચા ઇનપુટ્સ (કોષ્ટકો, ટેક્સ્ટ, છબીઓ, લોગ) ને મોડેલ-તૈયાર સુવિધાઓમાં રૂપાંતરિત કરવાનું છે. જો કાચા ડેટા એક અવ્યવસ્થિત ગેરેજ છે, તો પ્રીપ્રોસેસિંગ એ છે કે તમે બોક્સને લેબલ કરો છો, તૂટેલા કચરાને ફેંકી દો છો અને વસ્તુઓને સ્ટેક કરો છો જેથી તમે ખરેખર ઈજા વિના ચાલી શકો.

તે મોડેલ પોતે નથી. તે તે વસ્તુ છે જે મોડેલને શક્ય બનાવે છે:

• શ્રેણીઓને સંખ્યામાં રૂપાંતરિત કરવી (એક-ગરમ, ક્રમાંક, વગેરે) [1]

• મોટી સંખ્યાત્મક શ્રેણીઓને સેન રેન્જમાં સ્કેલિંગ (માનકીકરણ, ન્યૂનતમ-મહત્તમ, વગેરે) [1]

• ઇનપુટ ID માં ટેક્સ્ટનું ટોકનાઇઝેશન (અને સામાન્ય રીતે ધ્યાન માસ્ક) [3]

• છબીઓનું કદ બદલવું/કાપવું અને નિર્ણાયક વિરુદ્ધ રેન્ડમ ટ્રાન્સફોર્મ્સને યોગ્ય રીતે લાગુ કરવું [4]

• તાલીમ અને "વાસ્તવિક જીવન" ઇનપુટ્સ સૂક્ષ્મ રીતે અલગ ન થાય તે માટે પુનરાવર્તિત પાઇપલાઇન્સ બનાવવી [2]

એક નાની વ્યવહારુ નોંધ: "પ્રીપ્રોસેસિંગ" માં મોડેલ ઇનપુટ જુએ તે પહેલાં જે પણ સતત થાય છે તેનો. કેટલીક ટીમો આને "ફીચર એન્જિનિયરિંગ" વિરુદ્ધ "ડેટા ક્લિનિંગ" માં વિભાજિત કરે છે, પરંતુ વાસ્તવિક જીવનમાં તે રેખાઓ ઝાંખી પડી જાય છે. 

લોકો સ્વીકારે છે તેના કરતાં AI પ્રીપ્રોસેસિંગ કેમ વધુ મહત્વનું છે 😬

મોડેલ એક પેટર્ન-મેચર છે, મન વાંચનાર નથી. જો તમારા ઇનપુટ્સ અસંગત હોય, તો મોડેલ અસંગત નિયમો શીખે છે. તે દાર્શનિક નથી, તે પીડાદાયક રીતે શાબ્દિક છે.

પ્રીપ્રોસેસિંગ તમને મદદ કરે છે:

• અંદાજકર્તાઓ વિશ્વસનીય રીતે ઉપયોગ કરી શકે તેવા પ્રતિનિધિત્વમાં સુવિધાઓ મૂકીને શીખવાની સ્થિરતામાં સુધારો કરો (ખાસ કરીને જ્યારે સ્કેલિંગ/એન્કોડિંગ સામેલ હોય). [1]

• અવાજ ઓછો કરો કે જેમાંથી મોડેલ સામાન્યીકરણ કરી શકે (અજીબ કલાકૃતિઓ યાદ રાખવાને બદલે).

• લિકેજ અને ટ્રેન/સર્વિસ મિસમેચ (જે પ્રકારનું વેલિડેશનમાં "અદ્ભુત" દેખાય છે અને પછી ઉત્પાદનમાં ફેસપ્લાન્ટ્સ) જેવા સાયલન્ટ ફેલ્યોર મોડ્સને અટકાવો . [2]

• પુનરાવર્તન ઝડપી બનાવો કારણ કે પુનરાવર્તિત પરિવર્તન અઠવાડિયાના દરેક દિવસે નોટબુક સ્પાઘેટ્ટીને હરાવે છે.

ઉપરાંત, અહીંથી જ ઘણું બધું "મોડેલ પર્ફોર્મન્સ" આવે છે. જેમ કે... આશ્ચર્યજનક રીતે ઘણું બધું. ક્યારેક તે અન્યાયી લાગે છે, પણ તે વાસ્તવિકતા છે 🙃

સારી AI પ્રીપ્રોસેસિંગ પાઇપલાઇન શું બનાવે છે ✅

પ્રીપ્રોસેસિંગના "સારા સંસ્કરણ" માં સામાન્ય રીતે આ ગુણો હોય છે:

• પુનઃઉત્પાદનક્ષમ: સમાન ઇનપુટ → સમાન આઉટપુટ (કોઈ રહસ્યમય રેન્ડમનેસ નથી સિવાય કે તે ઇરાદાપૂર્વક વધારો હોય).

• ટ્રેન-સેવા સુસંગતતા: તાલીમ સમયે તમે જે કંઈ કરો છો તે અનુમાન સમયે સમાન રીતે લાગુ કરવામાં આવે છે (સમાન ફીટ કરેલા પરિમાણો, સમાન શ્રેણી નકશા, સમાન ટોકનાઇઝર રૂપરેખા, વગેરે). [2]

• લીકેજ-સેફ: મૂલ્યાંકન/પરીક્ષણમાં કંઈપણ કોઈપણ ફિટ સ્ટેપને પ્રભાવિત કરતું નથી. (આ ટ્રેપ વિશે થોડી વારમાં વધુ.) [2]

• અવલોકનક્ષમ: તમે શું બદલાયું છે તેનું નિરીક્ષણ કરી શકો છો (સુવિધાના આંકડા, ગુમ થયેલતા, શ્રેણી ગણતરીઓ) તેથી ડિબગીંગ વાઇબ્સ-આધારિત એન્જિનિયરિંગ નથી.

જો તમારી પ્રીપ્રોસેસિંગ નોટબુક સેલનો ઢગલો છે જેને final_v7_really_final_ok... તો તમે જાણો છો કે તે કેવી રીતે છે. તે ત્યાં સુધી કામ કરે છે જ્યાં સુધી તે કામ ન કરે 😬

AI પ્રીપ્રોસેસિંગના મુખ્ય ઘટકો 🧱

પ્રીપ્રોસેસિંગને પાઇપલાઇનમાં જોડતા બિલ્ડીંગ બ્લોક્સના સમૂહ તરીકે વિચારો.

૧) સફાઈ અને માન્યતા 🧼

લાક્ષણિક કાર્યો:

• ડુપ્લિકેટ્સ દૂર કરો

• ખૂટતા મૂલ્યોને હેન્ડલ કરો (છોડો, આરોપિત કરો, અથવા ગુમતાને સ્પષ્ટ રીતે રજૂ કરો)

• પ્રકારો, એકમો અને શ્રેણીઓનો અમલ કરો

• ખોટા ઇનપુટ્સ શોધો

• ટેક્સ્ટ ફોર્મેટને માનક બનાવો (વ્હાઇટસ્પેસ, કેસીંગ નિયમો, યુનિકોડ ક્વિર્ક)

આ ભાગ આકર્ષક નથી, પણ તે અત્યંત મૂર્ખ ભૂલોને અટકાવે છે. હું પ્રેમથી કહું છું.

૨) વર્ગીકૃત ડેટાને એન્કોડિંગ 🔤

મોટાભાગના મોડેલો "red" અથવા "premium_user" જેવા કાચા શબ્દમાળાઓનો સીધો ઉપયોગ કરી શકતા નથી .

સામાન્ય અભિગમો:

• એક-ગરમ એન્કોડિંગ (શ્રેણી → બાઈનરી કૉલમ) [1]

• ઓર્ડિનલ એન્કોડિંગ (શ્રેણી → પૂર્ણાંક ID) [1]

મુખ્ય વાત એ નથી કયો એન્કોડર પસંદ કરો છો - તે એ છે કે મેપિંગ સુસંગત રહે છે અને તાલીમ અને અનુમાન વચ્ચે "આકાર બદલતું નથી". આ રીતે તમને એક મોડેલ મળે છે જે ઑફલાઇન સારું દેખાય છે અને ઑનલાઇન ભૂતિયા રીતે કાર્ય કરે છે. [2]

૩) ફીચર સ્કેલિંગ અને નોર્મલાઇઝેશન 📏

જ્યારે સુવિધાઓ ખૂબ જ અલગ રેન્જમાં રહે છે ત્યારે સ્કેલિંગ મહત્વપૂર્ણ છે.

બે ક્લાસિક:

• માનકીકરણ: સરેરાશ દૂર કરો અને એકમ ભિન્નતા સુધી માપો [1]

• ન્યૂનતમ-મહત્તમ સ્કેલિંગ: દરેક સુવિધાને ચોક્કસ શ્રેણીમાં સ્કેલ કરો [1]

જ્યારે તમે એવા મોડેલોનો ઉપયોગ કરી રહ્યા હોવ જે "મોટાભાગે સામનો કરે છે", ત્યારે સ્કેલિંગ ઘણીવાર પાઇપલાઇન્સને તર્ક કરવાનું સરળ બનાવે છે - અને આકસ્મિક રીતે તૂટવાનું મુશ્કેલ બનાવે છે.

૪) ફીચર એન્જિનિયરિંગ (ઉર્ફે ઉપયોગી છેતરપિંડી) 🧪

આ તે જગ્યા છે જ્યાં તમે વધુ સારા સિગ્નલો બનાવીને મોડેલનું કામ સરળ બનાવો છો:

• ગુણોત્તર (ક્લિક્સ / છાપ)

• બારીઓ ફેરવાઈ રહી છે (છેલ્લા N દિવસ)

• ગણતરીઓ (વપરાશકર્તા દીઠ ઇવેન્ટ્સ)

• હેવી-ટેલ્ડ ડિસ્ટ્રિબ્યુશન માટે લોગ ટ્રાન્સફોર્મ્સ

અહીં એક કળા છે. ક્યારેક તમે કોઈ ફીચર બનાવો છો, ગર્વ અનુભવો છો... અને તે કંઈ કરતું નથી. અથવા તો ખરાબ, તે દુઃખદાયક છે. તે સામાન્ય છે. ફીચર સાથે ભાવનાત્મક રીતે જોડાઓ નહીં - તેઓ તમને પાછા પ્રેમ કરતા નથી 😅

૫) ડેટાને યોગ્ય રીતે વિભાજીત કરવો ✂️

આ સ્પષ્ટ લાગે છે જ્યાં સુધી તે ન હોય:

• iid ડેટા માટે રેન્ડમ સ્પ્લિટ્સ

• સમય શ્રેણી માટે સમય-આધારિત વિભાજન

• જ્યારે એન્ટિટી પુનરાવર્તિત થાય છે ત્યારે જૂથબદ્ધ વિભાજન (વપરાશકર્તાઓ, ઉપકરણો, દર્દીઓ)

અને મહત્વપૂર્ણ: ડેટામાંથી શીખતી પ્રીપ્રોસેસિંગ ફિટ કરતા પહેલા વિભાજીત કરો. જો તમારું પ્રીપ્રોસેસિંગ પગલું પરિમાણો (જેમ કે માધ્યમ, શબ્દભંડોળ, શ્રેણી નકશા) "શીખે છે", તો તેને ફક્ત તાલીમમાંથી જ શીખવું જોઈએ. [2]

ડેટા પ્રકાર દ્વારા AI પ્રીપ્રોસેસિંગ: ટેબ્યુલર, ટેક્સ્ટ, છબીઓ 🎛️

તમે મોડેલને શું ખવડાવશો તેના આધારે પ્રીપ્રોસેસિંગ આકારમાં ફેરફાર કરે છે.

ટેબ્યુલર ડેટા (સ્પ્રેડશીટ્સ, લોગ્સ, ડેટાબેઝ) 📊

સામાન્ય પગલાં:

• ખૂટતા મૂલ્યની વ્યૂહરચના

• વર્ગીકૃત એન્કોડિંગ [1]

• આંકડાકીય સ્તંભોને સ્કેલિંગ કરવું [1]

• આઉટલાયર હેન્ડલિંગ (ડોમેન નિયમો મોટાભાગે "રેન્ડમ ક્લિપિંગ" ને હરાવે છે)

• વ્યુત્પન્ન સુવિધાઓ (એકત્રીકરણ, લેગ્સ, રોલિંગ આંકડા)

વ્યવહારુ સલાહ: કૉલમ જૂથોને સ્પષ્ટ રીતે વ્યાખ્યાયિત કરો (સંખ્યાત્મક વિરુદ્ધ શ્રેણીબદ્ધ વિરુદ્ધ ઓળખકર્તા). તમારું ભવિષ્ય સ્વયં તમારો આભાર માનશે.

ટેક્સ્ટ ડેટા (NLP) 📝

ટેક્સ્ટ પ્રીપ્રોસેસિંગમાં ઘણીવાર શામેલ હોય છે:

• ટોકન/સબવર્ડ્સમાં ટોકનાઇઝેશન

• ઇનપુટ ID માં રૂપાંતર

• ગાદી/કાપણી

• બેચિંગ માટે ધ્યાન માસ્ક બનાવવા [3]

પીડા બચાવતો નાનો નિયમ: ટ્રાન્સફોર્મર-આધારિત સેટઅપ્સ માટે, મોડેલની અપેક્ષિત ટોકનાઇઝર સેટિંગ્સને અનુસરો અને જ્યાં સુધી તમારી પાસે કોઈ કારણ ન હોય ત્યાં સુધી ફ્રીસ્ટાઇલ ન કરો. ફ્રીસ્ટાઇલિંગ એ છે કે તમને "તે તાલીમ આપે છે પણ તે વિચિત્ર છે" સાથે અંત આવે છે

છબીઓ (કમ્પ્યુટર વિઝન) 🖼️

લાક્ષણિક પ્રીપ્રોસેસિંગ:

• સુસંગત આકારોમાં કદ બદલો / કાપો

• મૂલ્યાંકન માટે નિર્ણાયક પરિવર્તનો

• તાલીમ વૃદ્ધિ માટે રેન્ડમ ટ્રાન્સફોર્મ્સ (દા.ત., રેન્ડમ ક્રોપિંગ) [4]

લોકો એક વિગત ચૂકી જાય છે: "રેન્ડમ ટ્રાન્સફોર્મ્સ" ફક્ત એક વાઇબ નથી - તેઓ દરેક વખતે જ્યારે તેમને બોલાવવામાં આવે છે ત્યારે શાબ્દિક રીતે પરિમાણોનું નમૂના લે છે. તાલીમ વિવિધતા માટે ઉત્તમ, જો તમે રેન્ડમનેસ બંધ કરવાનું ભૂલી જાઓ છો તો મૂલ્યાંકન માટે ભયંકર. [4]

દરેક વ્યક્તિ જે જાળમાં ફસાઈ જાય છે: ડેટા લીકેજ 🕳️🐍

લીકેજ એ છે જ્યારે મૂલ્યાંકન ડેટામાંથી માહિતી તાલીમમાં ઘૂસી જાય છે - ઘણીવાર પ્રીપ્રોસેસિંગ દ્વારા. તે માન્યતા દરમિયાન તમારા મોડેલને જાદુઈ બનાવી શકે છે, પછી વાસ્તવિક દુનિયામાં તમને નિરાશ કરી શકે છે.

સામાન્ય લિકેજ પેટર્ન:

• પૂર્ણ-ડેટાસેટ આંકડાઓનો ઉપયોગ કરીને સ્કેલિંગ (માત્ર તાલીમને બદલે) [2]

• ટ્રેન+ટેસ્ટનો ઉપયોગ કરીને શ્રેણી નકશા બનાવવા [2]

• કોઈપણ fit() અથવા fit_transform() પગલું જે ટેસ્ટ સેટને "જુએ છે" [2]

અંગૂઠાનો નિયમ (સરળ, ક્રૂર, અસરકારક):

• ફિટ સ્ટેપવાળી કોઈપણ વસ્તુ ફક્ત તાલીમ દરમિયાન જ ફિટ હોવી જોઈએ.

• પછી તમે રૂપાંતર કરો છો . [2]

અને જો તમે "કેટલું ખરાબ હોઈ શકે છે?" જાણવા માંગતા હોવ તો ગટ-ચેક: સાયકિટ-લર્નના પોતાના દસ્તાવેજો એક લીકેજ ઉદાહરણ બતાવે છે જ્યાં ખોટો પ્રીપ્રોસેસિંગ ઓર્ડર 0.76 - પછી લીકેજ ઠીક થઈ ગયા પછી તે ~0.5 છે. ખાતરીપૂર્વક ખોટું લીકેજ આ રીતે દેખાઈ શકે છે. [2]

અંધાધૂંધી વિના ઉત્પાદનમાં પ્રી-પ્રોસેસિંગ શરૂ કરવું 🏗️

ઘણા મોડેલો ઉત્પાદનમાં નિષ્ફળ જાય છે કારણ કે મોડેલ "ખરાબ" છે, પરંતુ ઇનપુટ વાસ્તવિકતા બદલાય છે - અથવા તમારી પાઇપલાઇન કરે છે.

ઉત્પાદન-લક્ષી પૂર્વ-પ્રક્રિયામાં સામાન્ય રીતે શામેલ હોય છે:

• સાચવેલા આર્ટિફેક્ટ્સ (એન્કોડર મેપિંગ્સ, સ્કેલર પેરામીટર્સ, ટોકનાઇઝર રૂપરેખા) જેથી અનુમાન બરાબર એ જ શીખેલા ટ્રાન્સફોર્મ્સનો ઉપયોગ કરે છે [2]

• કડક ઇનપુટ કરાર (અપેક્ષિત કૉલમ/પ્રકારો/શ્રેણીઓ)

• સ્ક્યુ અને ડ્રિફ્ટ માટે દેખરેખ, કારણ કે ઉત્પાદન ડેટા ભટકશે [5]

જો તમને ચોક્કસ વ્યાખ્યાઓ જોઈતી હોય તો: Google નું Vertex AI મોડેલ મોનિટરિંગ તાલીમ-સેવા આપતી સ્ક્યુ (ઉત્પાદન વિતરણ તાલીમથી વિચલિત થાય છે) અને અનુમાન ડ્રિફ્ટ (સમય જતાં ઉત્પાદન વિતરણમાં ફેરફાર) ને અલગ પાડે છે, અને વર્ગીકૃત અને સંખ્યાત્મક બંને સુવિધાઓ માટે દેખરેખને સમર્થન આપે છે. [5]

કારણ કે સરપ્રાઇઝ મોંઘા હોય છે. અને મજાના પ્રકારનું નહીં.

સરખામણી કોષ્ટક: સામાન્ય પ્રીપ્રોસેસિંગ + મોનિટરિંગ ટૂલ્સ (અને તે કોના માટે છે) 🧰

(હા, ટેબલ પર હજુ પણ મંતવ્યો છે. પણ ઓછામાં ઓછું તે પ્રામાણિક મંતવ્યો છે 😅)

એક વ્યવહારુ પ્રીપ્રોસેસિંગ ચેકલિસ્ટ જેનો તમે ખરેખર ઉપયોગ કરી શકો છો 📌

તાલીમ પહેલાં

• ઇનપુટ સ્કીમા વ્યાખ્યાયિત કરો (પ્રકારો, એકમો, માન્ય શ્રેણીઓ)

• ખૂટતા મૂલ્યો અને ડુપ્લિકેટનું ઑડિટ કરો

• ડેટાને યોગ્ય રીતે વિભાજીત કરો (રેન્ડમ / સમય-આધારિત / જૂથબદ્ધ)

• ફક્ત તાલીમ પર ફિટ પ્રીપ્રોસેસિંગ ( ફિટ / ફિટ_ટ્રાન્સફોર્મ ટ્રેનમાં રહે છે) [2]

• પ્રીપ્રોસેસિંગ આર્ટિફેક્ટ્સ સાચવો જેથી અનુમાન તેનો ફરીથી ઉપયોગ કરી શકે [2]

તાલીમ દરમિયાન

• જ્યાં યોગ્ય હોય ત્યાં જ રેન્ડમ ઓગ્મેન્ટેશન લાગુ કરો (સામાન્ય રીતે તાલીમ ફક્ત વિભાજીત કરો) [4]

• મૂલ્યાંકન પૂર્વ-પ્રોસેસિંગને નિર્ણાયક રાખો [4]

• મોડેલ ફેરફારો જેવા પ્રીપ્રોસેસિંગ ફેરફારોને ટ્રૅક કરો (કારણ કે તે છે)

જમાવટ પહેલાં

• ખાતરી કરો કે અનુમાન સમાન પ્રીપ્રોસેસિંગ પાથ અને આર્ટિફેક્ટ્સનો ઉપયોગ કરે છે [2]

• ડ્રિફ્ટ/સ્ક્યુ મોનિટરિંગ સેટ કરો (મૂળભૂત સુવિધા વિતરણ તપાસ પણ ઘણી આગળ વધે છે) [5]

ઊંડાણપૂર્વક તપાસ: પ્રી-પ્રોસેસિંગની સામાન્ય ભૂલો (અને તેમને કેવી રીતે ટાળવી) 🧯

ભૂલ ૧: “હું ઝડપથી બધું સામાન્ય કરીશ” 😵

જો તમે સંપૂર્ણ ડેટાસેટ પર સ્કેલિંગ પરિમાણોની ગણતરી કરો છો, તો તમે મૂલ્યાંકન માહિતી લીક કરી રહ્યા છો. ટ્રેન પર ફિટ કરો, બાકીનાને રૂપાંતરિત કરો. [2]

ભૂલ ૨: અરાજકતામાં ફસાઈ રહેલી શ્રેણીઓ 🧩

જો તમારું કેટેગરી મેપિંગ તાલીમ અને અનુમાન વચ્ચે બદલાય છે, તો તમારું મોડેલ શાંતિથી વિશ્વને ખોટી રીતે વાંચી શકે છે. સાચવેલા આર્ટિફેક્ટ્સ દ્વારા મેપિંગને ઠીક રાખો. [2]

ભૂલ ૩: મૂલ્યાંકનમાં રેન્ડમ વધારો 🎲

તાલીમમાં રેન્ડમ ટ્રાન્સફોર્મ્સ અદ્ભુત હોય છે, પરંતુ જ્યારે તમે પ્રદર્શન માપવાનો પ્રયાસ કરી રહ્યા હોવ ત્યારે તે "ગુપ્ત રીતે ચાલુ" ન હોવા જોઈએ. (રેન્ડમ એટલે રેન્ડમ.) [4]

અંતિમ ટિપ્પણી 🧠✨

AI પ્રીપ્રોસેસિંગ એ અવ્યવસ્થિત વાસ્તવિકતાને સુસંગત મોડેલ ઇનપુટ્સમાં ફેરવવાની શિસ્તબદ્ધ કળા છે. તે સફાઈ, એન્કોડિંગ, સ્કેલિંગ, ટોકનાઇઝેશન, ઇમેજ ટ્રાન્સફોર્મ્સ અને - સૌથી અગત્યનું - પુનરાવર્તિત પાઇપલાઇન્સ અને આર્ટિફેક્ટ્સને આવરી લે છે.

• પ્રીપ્રોસેસિંગ ઇરાદાપૂર્વક કરો, આકસ્મિક રીતે નહીં. [2]

• પહેલા વિભાજીત કરો, ફક્ત તાલીમ પર જ ફિટ ટ્રાન્સફોર્મ્સ, લીકેજ ટાળો. [2]

• મોડલિટી-યોગ્ય પ્રીપ્રોસેસિંગનો ઉપયોગ કરો (ટેક્સ્ટ માટે ટોકનાઇઝર્સ, છબીઓ માટે ટ્રાન્સફોર્મ્સ). [3][4]

• ઉત્પાદન ત્રાંસી/ડ્રિફ્ટનું નિરીક્ષણ કરો જેથી તમારું મોડેલ ધીમે ધીમે બકવાસ તરફ ન વળે. [5]

અને જો તમે ક્યારેય અટવાઈ જાઓ છો, તો તમારી જાતને પૂછો:
"જો હું કાલે નવા ડેટા પર આ પ્રીપ્રોસેસિંગ પગલું ચલાવું તો શું તે હજુ પણ અર્થપૂર્ણ રહેશે?"
જો જવાબ "ઉહ... કદાચ?" હોય, તો તે તમારો સંકેત છે 😬

વાસ્તવિક દુનિયાનું ઉદાહરણ: ચર્ન આગાહી માટે લિકેજ-સલામત પ્રીપ્રોસેસિંગ પાઇપલાઇન બનાવવી

દૃશ્ય

કલ્પના કરો કે એક નાની SaaS ટીમ આગામી 30 દિવસમાં કયા ગ્રાહકો રદ કરે તેવી શક્યતા છે તેની આગાહી કરવાનો પ્રયાસ કરી રહી છે. તેમનો કાચો ડેટા ત્રણ જગ્યાએ રહે છે: બિલિંગ નિકાસ, ઉત્પાદન વપરાશ લોગ અને સપોર્ટ ટિકિટ.

મોડેલનું પહેલું વર્ઝન વેલિડેશનમાં ઉત્તમ દેખાય છે, પરંતુ ગ્રાહકોના નવા મહિના પર પરીક્ષણ કરવામાં આવે ત્યારે તે ખરાબ પ્રદર્શન કરે છે. મુદ્દો મોડેલ આર્કિટેક્ચરનો નથી. તે પ્રીપ્રોસેસિંગનો છે.

ટીમે આકસ્મિક રીતે સંપૂર્ણ ડેટાસેટનો ઉપયોગ કરીને આંકડાકીય સુવિધાઓનું માપ કાઢ્યું, ટ્રેન અને ટેસ્ટ ડેટામાંથી શ્રેણી મેપિંગ એકસાથે બનાવ્યા, અને સપોર્ટ-ટિકિટ ટૅગ્સનો સમાવેશ કર્યો જે રદ કર્યા પછી જ ઉમેરવામાં આવ્યા. ક્લાસિક લિકેજ. પીડાદાયક, પરંતુ સુધારી શકાય તેવું. [2]

પાઇપલાઇનને શું જોઈએ છે

વ્યવહારુ સેટઅપમાં શામેલ હશે:

• એક નિશ્ચિત ઇનપુટ સ્કીમા: ગ્રાહક_આઈડી, યોજના_પ્રકાર, એકાઉન્ટ_એજ_ડેઝ, લોગિન_30d, ટિકિટ_30d, છેલ્લી_ચુકવણી_સ્થિતિ, પ્રદેશ

• સમય-આધારિત વિભાજન, જેમ કે જાન્યુઆરી-સપ્ટેમ્બરમાં તાલીમ અને ઓક્ટોબરમાં પરીક્ષણ

• ફક્ત તાલીમ વિભાજન પર જ ન્યુમેરિક સ્કેલિંગ ફીટ કરવામાં આવ્યું છે

• ફક્ત તાલીમ વિભાજન પર ફીટ કરાયેલા વર્ગીકૃત એન્કોડર્સ

• એક સાચવેલ પ્રીપ્રોસેસિંગ પાઇપલાઇન જેથી ઉત્પાદન સમાન મેપિંગ્સ અને સ્કેલર મૂલ્યોનો ઉપયોગ કરે

• ગુમ થયેલ કૉલમ, અદ્રશ્ય શ્રેણીઓ અને જમાવટ પછી વિતરણ ફેરફારો માટે મૂળભૂત દેખરેખ

મુખ્ય નિયમ સરળ છે: પહેલા વિભાજીત કરો, પછી પ્રીપ્રોસેસિંગ ફિટ કરો. ડેટામાંથી જે કંઈ શીખે છે તે ફક્ત તાલીમ સમયગાળામાંથી જ શીખવું જોઈએ. [2]

ઉદાહરણ સૂચના

પ્રીપ્રોસેસિંગ સ્ટેપ માટે આનો ઉપયોગ વર્કિંગ બ્રીફ તરીકે કરો:

ગ્રાહક બિલિંગ, ઉપયોગ અને સપોર્ટ ડેટાનો ઉપયોગ કરીને ચર્ન પ્રિડિક્શન મોડેલ માટે પ્રીપ્રોસેસિંગ પાઇપલાઇન બનાવો. કોઈપણ ટ્રાન્સફોર્મર ફીટ કરતા પહેલા ડેટાને સમય પ્રમાણે વિભાજીત કરો. ફક્ત તાલીમ ડેટા પર ન્યુમેરિક સ્કેલર અને કેટેગરીકલ એન્કોડર ફિટ કરો, પછી તે ફીટ કરેલા ટ્રાન્સફોર્મ્સને માન્યતા અને પરીક્ષણ ડેટા પર લાગુ કરો. બધી પ્રીપ્રોસેસિંગ આર્ટિફેક્ટ્સ સાચવો જેથી પ્રોડક્શન મોડેલ સમાન સ્કીમા, કેટેગરી મેપિંગ્સ અને સ્કેલિંગ પેરામીટર્સનો ઉપયોગ કરે. આગાહી પહેલાં ગુમ થયેલ કૉલમ, અણધાર્યા ડેટા પ્રકારો, અદ્રશ્ય શ્રેણીઓ અને મુખ્ય વિતરણ શિફ્ટને ચિહ્નિત કરો.

તેનું પરીક્ષણ કેવી રીતે કરવું

મોડેલ પર વિશ્વાસ કરતા પહેલા, થોડા ઇરાદાપૂર્વક અણઘડ રેકોર્ડ્સ સાથે પ્રીપ્રોસેસિંગ પાઇપલાઇનનું પરીક્ષણ કરો:

• યોજના પ્રકારનો ગ્રાહક જે તાલીમમાં હાજર ન હતો

• ખૂટતી પ્રદેશ અથવા છેલ્લી ચુકવણીની સ્થિતિવાળી પંક્તિ

• અસામાન્ય રીતે વધુ વપરાશ ધરાવતો ગ્રાહક, જેમ કે 30 દિવસમાં 10,000 લોગિન

• ખોટા ક્રમમાં કૉલમ ધરાવતી પ્રોડક્શન-શૈલીની ફાઇલ

• ફ્યુચર-મહિના ટેસ્ટ સેટ જેનો ફિટિંગ દરમિયાન ક્યારેય ઉપયોગ થયો ન હતો

પછી ત્રણ બાબતો તપાસો:

• શું પાઇપલાઇન ફીચર ઓર્ડર બદલ્યા વિના ચાલે છે?

• શું અજાણી શ્રેણીઓ સતત હેન્ડલ કરવામાં આવે છે?

• લીકેજ દૂર થયા પછી શું માન્યતા કામગીરી વધુ વિશ્વસનીય સ્તરે ઘટી જાય છે?

આ છેલ્લો મુદ્દો મહત્વપૂર્ણ છે. શંકાસ્પદ રીતે ઉચ્ચ માન્યતા સ્કોર ઘણીવાર ગંધની પૂર્વ-પ્રક્રિયા હોય છે, ચમત્કાર નહીં.

પરિણામ

નોટબુકના પગલાંને સાચવેલી પાઇપલાઇનમાં રૂપાંતરિત કરતા પહેલા અને પછી પાંચ નમૂના પ્રીપ્રોસેસિંગ ચાલે છે તે સમયના આધારે ઉદાહરણરૂપ પરિણામ:

• ડેટાસેટ રિફ્રેશ દીઠ મેન્યુઅલ પ્રીપ્રોસેસિંગ સમય 55 મિનિટથી ઘટાડીને 8 મિનિટ કરવામાં આવ્યો.

• ફીચર-ઓર્ડર ભૂલો 5 ટેસ્ટ રિફ્રેશમાં 3 ભૂલોથી ઘટીને 5 રિફ્રેશમાં 0 ભૂલો થઈ ગઈ.

• લીકેજ દૂર થયા પછી માન્યતા ચોકસાઈ 91% થી ઘટીને 74% થઈ ગઈ, પરંતુ નવા મહિનાના પરીક્ષણ ચોકસાઈ 62% થી સુધરીને 71% થઈ ગઈ.

• ટીમે 6 સ્વચાલિત તપાસ ઉમેરી: ગુમ થયેલ કૉલમ, અમાન્ય પ્રકારો, અદ્રશ્ય શ્રેણીઓ, નલ-રેટ ફેરફાર, આંકડાકીય શ્રેણી ફેરફાર અને ટ્રેન-સર્વિસિંગ સ્કીમા મિસમેચ.

આ આંકડાઓ સાર્વત્રિક માપદંડ નથી. આ એવા સરળ પહેલા અને પછીના માપનો પ્રકાર છે જે ટીમ સમયસર અપડેટ્સ, નિષ્ફળ રનની ગણતરી અને ભવિષ્યના મહિના સાથે માન્યતા પરિણામોની તુલના કરીને ફરીથી ઉત્પન્ન કરી શકે છે.

શું ખોટું થઈ શકે છે?

સૌથી મોટું જોખમ એ છે કે પાઇપલાઇન સ્વચ્છ દેખાય અને સાથે સાથે લીકેજને શાંતિથી જાળવી રાખવામાં આવે. ઉદાહરણ તરીકે, "છેલ્લા રદ કરવાની ચેતવણી ઇમેઇલ પછીના દિવસો" મૂલ્યવાન લાગે છે, પરંતુ જો તે ઇમેઇલ આંતરિક ચર્ન સમીક્ષા પછી જ મોકલવામાં આવે છે, તો તે ભવિષ્યના જ્ઞાનને લીક કરી શકે છે.

અન્ય સામાન્ય ફાંસો:

• સેવ કરેલા મેપિંગ્સ લોડ કરવાને બદલે ઉત્પાદનમાં એન્કોડર્સને ફરીથી ફિટ કરવા

• નવી શ્રેણીઓને શાંતિથી ફીચર પોઝિશન બદલવા દેવા

• જ્યારે સાચું કાર્ય સમય-આધારિત હોય ત્યારે રેન્ડમ સ્પ્લિટ પર પરીક્ષણ કરવું

• તાલીમમાં ખૂટતા મૂલ્યોવાળી પંક્તિઓ છોડી દેવી પરંતુ તેમને અનુમાન પર હેન્ડલ ન કરવી

• ઇનપુટ ડ્રિફ્ટને અવગણીને મોડેલની ચોકસાઈનું નિરીક્ષણ કરવું

વ્યવહારુ ઉપાય

સારી પ્રીપ્રોસેસિંગ પાઇપલાઇન કાચા ડેટાને વ્યવસ્થિત બનાવવા કરતાં વધુ કરે છે. તે મોડેલને ખરાબ મૂલ્યાંકન, તૂટેલા ઉત્પાદન ઇનપુટ્સ અને ધીમા શાંત ડ્રિફ્ટથી રક્ષણ આપે છે. ચર્ન મોડેલ માટે, હોંશિયાર પ્રીપ્રોસેસિંગ અને વિશ્વસનીય પ્રીપ્રોસેસિંગ વચ્ચેનો તફાવત ઘણીવાર એટલો જ આવે છે કે શું દર વખતે સમાન ફીટ કરેલા ટ્રાન્સફોર્મ્સનો ફરીથી ઉપયોગ કરવામાં આવે છે, ખાસ કરીને જ્યારે ડેટા એક મહિનાનો આવે છે જે મોડેલે પહેલાં ક્યારેય જોયો નથી.

વારંવાર પૂછાતા પ્રશ્નો

સરળ શબ્દોમાં કહીએ તો AI પ્રીપ્રોસેસિંગ શું છે?

AI પ્રીપ્રોસેસિંગ એ પુનરાવર્તિત પગલાંઓનો સમૂહ છે જે ઘોંઘાટીયા, ઉચ્ચ-વિચલનવાળા કાચા ડેટાને સુસંગત ઇનપુટ્સમાં ફેરવે છે જેમાંથી મોડેલ શીખી શકે છે. તેમાં સફાઈ, માન્યતા, એન્કોડિંગ શ્રેણીઓ, આંકડાકીય મૂલ્યોને સ્કેલિંગ, ટેક્સ્ટને ટોકનાઇઝ કરવું અને છબી પરિવર્તન લાગુ કરવું શામેલ હોઈ શકે છે. ધ્યેય એ સુનિશ્ચિત કરવાનો છે કે તાલીમ અને ઉત્પાદન અનુમાન "સમાન પ્રકારના" ઇનપુટને જુએ, જેથી મોડેલ પછીથી અણધારી વર્તનમાં ન જાય.

ઉત્પાદનમાં AI પ્રીપ્રોસેસિંગ શા માટે આટલું મહત્વનું છે?

પ્રીપ્રોસેસિંગ મહત્વનું છે કારણ કે મોડેલો ઇનપુટ પ્રતિનિધિત્વ પ્રત્યે સંવેદનશીલ હોય છે. જો તાલીમ ડેટાને ઉત્પાદન ડેટા કરતાં અલગ રીતે સ્કેલ, એન્કોડેડ, ટોકનાઇઝ્ડ અથવા ટ્રાન્સફોર્મ કરવામાં આવે છે, તો તમને ટ્રેન/સર્વિસ મિસમેચ નિષ્ફળતાઓ મળી શકે છે જે ઑફલાઇન સારી દેખાય છે પરંતુ શાંતિથી ઑનલાઇન નિષ્ફળ જાય છે. મજબૂત પ્રીપ્રોસેસિંગ પાઇપલાઇન્સ અવાજ ઘટાડે છે, શીખવાની સ્થિરતામાં સુધારો કરે છે અને પુનરાવૃત્તિને ઝડપી બનાવે છે કારણ કે તમે નોટબુક સ્પાઘેટ્ટીને ગૂંચવતા નથી.

પ્રી-પ્રોસેસિંગ કરતી વખતે ડેટા લીકેજ કેવી રીતે ટાળવું?

એક સરળ નિયમ કામ કરે છે: ફિટ સ્ટેપ ધરાવતી કોઈપણ વસ્તુ ફક્ત તાલીમ ડેટા પર જ ફિટ હોવી જોઈએ. તેમાં સ્કેલર, એન્કોડર્સ અને ટોકનાઇઝર્સનો સમાવેશ થાય છે જે માધ્યમ, શ્રેણી નકશા અથવા શબ્દભંડોળ જેવા પરિમાણો શીખે છે. તમે પહેલા વિભાજીત કરો છો, તાલીમ વિભાજન પર ફિટ થાઓ છો, પછી ફીટ કરેલા ટ્રાન્સફોર્મરનો ઉપયોગ કરીને માન્યતા/પરીક્ષણને રૂપાંતરિત કરો છો. લીકેજ માન્યતાને "જાદુઈ રીતે" સારી બનાવી શકે છે અને પછી ઉત્પાદન ઉપયોગમાં પડી ભાંગી શકે છે.

ટેબ્યુલર ડેટા માટે સૌથી સામાન્ય પ્રીપ્રોસેસિંગ પગલાં કયા છે?

ટેબ્યુલર ડેટા માટે, સામાન્ય પાઇપલાઇનમાં સફાઈ અને માન્યતા (પ્રકારો, શ્રેણીઓ, ખૂટતા મૂલ્યો), વર્ગીકૃત એન્કોડિંગ (એક-ગરમ અથવા ક્રમાંકિત), અને સંખ્યાત્મક સ્કેલિંગ (માનકીકરણ અથવા ન્યૂનતમ-મહત્તમ) શામેલ હોય છે. ઘણી પાઇપલાઇન્સ ડોમેન-આધારિત સુવિધા એન્જિનિયરિંગ જેમ કે રેશિયો, રોલિંગ વિંડોઝ અથવા ગણતરીઓ ઉમેરે છે. એક વ્યવહારુ ટેવ એ છે કે કૉલમ જૂથોને સ્પષ્ટ રીતે વ્યાખ્યાયિત કરો (સંખ્યાત્મક વિરુદ્ધ વર્ગીકૃત વિરુદ્ધ ઓળખકર્તાઓ) જેથી તમારા પરિવર્તનો સુસંગત રહે.

ટેક્સ્ટ મોડેલો માટે પ્રીપ્રોસેસિંગ કેવી રીતે કાર્ય કરે છે?

ટેક્સ્ટ પ્રીપ્રોસેસિંગનો સામાન્ય રીતે અર્થ થાય છે ટોકનાઇઝેશનને ટોકન/સબવર્ડ્સમાં રૂપાંતરિત કરવું, તેમને ઇનપુટ ID માં રૂપાંતરિત કરવું અને બેચિંગ માટે પેડિંગ/ટ્રંકેશનનું સંચાલન કરવું. ઘણા ટ્રાન્સફોર્મર વર્કફ્લો ID ની સાથે ધ્યાન માસ્ક પણ બનાવે છે. એક સામાન્ય અભિગમ એ છે કે ઇમ્પ્રુવાઇઝિંગને બદલે મોડેલના અપેક્ષિત ટોકનાઇઝર ગોઠવણીનો ઉપયોગ કરવો, કારણ કે ટોકનાઇઝર સેટિંગ્સમાં નાના તફાવતો "તે તાલીમ આપે છે પરંતુ તે અણધારી રીતે વર્તે છે" પરિણામો તરફ દોરી શકે છે.

મશીન લર્નિંગ માટે છબીઓને પ્રીપ્રોસેસ કરવામાં શું તફાવત છે?

છબી પ્રીપ્રોસેસિંગ સામાન્ય રીતે સુસંગત આકારો અને પિક્સેલ હેન્ડલિંગ સુનિશ્ચિત કરે છે: કદ બદલવું/પાકવું, સામાન્યીકરણ, અને નિર્ણાયક અને રેન્ડમ ટ્રાન્સફોર્મ્સ વચ્ચે સ્પષ્ટ વિભાજન. મૂલ્યાંકન માટે, પરિવર્તન નિર્ણાયક હોવા જોઈએ જેથી મેટ્રિક્સ તુલનાત્મક હોય. તાલીમ માટે, રેન્ડમ ઓગ્મેન્ટેશન (રેન્ડમ પાકની જેમ) મજબૂતાઈમાં સુધારો કરી શકે છે, પરંતુ રેન્ડમનેસને ઇરાદાપૂર્વક તાલીમ વિભાજન સુધી મર્યાદિત કરવી જોઈએ, મૂલ્યાંકન દરમિયાન આકસ્મિક રીતે છોડી દેવી જોઈએ નહીં.

પ્રીપ્રોસેસિંગ પાઇપલાઇન નાજુક બનવાને બદલે "સારી" કેમ બને છે?

સારી AI પ્રીપ્રોસેસિંગ પાઇપલાઇન પુનઃઉત્પાદનક્ષમ, લિકેજ-સલામત અને અવલોકનક્ષમ હોય છે. પુનઃઉત્પાદનક્ષમ એટલે કે સમાન ઇનપુટ સમાન આઉટપુટ ઉત્પન્ન કરે છે સિવાય કે રેન્ડમનેસ ઇરાદાપૂર્વક વધારો કરવામાં આવે. લિકેજ-સલામત એટલે કે ફિટ સ્ટેપ્સ ક્યારેય માન્યતા/પરીક્ષણને સ્પર્શતા નથી. અવલોકનક્ષમ એટલે કે તમે ગુમ થવાના આંકડા, શ્રેણી ગણતરીઓ અને સુવિધા વિતરણોનું નિરીક્ષણ કરી શકો છો જેથી ડિબગીંગ પુરાવા પર આધારિત હોય, ગટ-ફીલ પર નહીં. પાઇપલાઇન્સ દર વખતે એડ-હોક નોટબુક સિક્વન્સને હરાવે છે.

તાલીમ અને અનુમાન પ્રીપ્રોસેસિંગને હું કેવી રીતે સુસંગત રાખી શકું?

મુખ્ય વાત એ છે કે અનુમાન સમયે બરાબર એ જ શીખેલા આર્ટિફેક્ટ્સનો ફરીથી ઉપયોગ કરવો: સ્કેલર પેરામીટર્સ, એન્કોડર મેપિંગ્સ અને ટોકનાઇઝર રૂપરેખાઓ. તમારે ઇનપુટ કોન્ટ્રેક્ટ (અપેક્ષિત કૉલમ, પ્રકારો અને શ્રેણીઓ) પણ જોઈએ છે જેથી ઉત્પાદન ડેટા શાંતિથી અમાન્ય આકારોમાં ન જાય. સુસંગતતા એટલે ફક્ત "સમાન પગલાં લેવા" નહીં - તે "સમાન ફીટ કરેલા પરિમાણો અને મેપિંગ્સ સાથે સમાન પગલાં લેવા" છે

સમય જતાં ડ્રિફ્ટ અને સ્ક્યુ જેવી પ્રીપ્રોસેસિંગ સમસ્યાઓનું હું કેવી રીતે નિરીક્ષણ કરી શકું?

મજબૂત પાઇપલાઇન હોવા છતાં, ઉત્પાદન ડેટા બદલાય છે. એક સામાન્ય અભિગમ એ છે કે ફીચર ડિસ્ટ્રિબ્યુશન ફેરફારોનું નિરીક્ષણ કરવું અને તાલીમ-સેવા આપતી સ્ક્યુ (ઉત્પાદન તાલીમથી વિચલિત થાય છે) અને અનુમાન ડ્રિફ્ટ (સમય જતાં ઉત્પાદન ફેરફારો) પર ચેતવણી આપવી. મોનિટરિંગ હળવા (મૂળભૂત વિતરણ તપાસ) અથવા સંચાલિત (વર્ટેક્સ AI મોડેલ મોનિટરિંગની જેમ) હોઈ શકે છે. ધ્યેય ઇનપુટ શિફ્ટ્સને વહેલા પકડવાનો છે - તે મોડેલ પ્રદર્શનને ધીમે ધીમે બગાડે તે પહેલાં.

સંદર્ભ

[1] scikit-learn API: sklearn.preprocessing (એન્કોડર્સ, સ્કેલર, નોર્મલાઇઝેશન)
[2] scikit-learn: સામાન્ય મુશ્કેલીઓ - ડેટા લીકેજ અને તેનાથી કેવી રીતે બચવું
[3] હગિંગ ફેસ ટ્રાન્સફોર્મર્સ દસ્તાવેજો: ટોકનાઇઝર્સ (ઇનપુટ ID, ધ્યાન માસ્ક)
[4] PyTorch Torchvision દસ્તાવેજો: ટ્રાન્સફોર્મ્સ (રાઇઝ/નોર્મલાઇઝ + રેન્ડમ ટ્રાન્સફોર્મ્સ)
[5] Google Cloud Vertex AI દસ્તાવેજો: મોડેલ મોનિટરિંગ ઓવરવ્યૂ (ફીચર સ્ક્યુ અને ડ્રિફ્ટ)

અધિકૃત AI સહાયક સ્ટોર પર નવીનતમ AI શોધો

અમારા વિશે