શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે? [વિડિઓ અને ક્વિઝ]

ટૂંકો જવાબ: AI ડેટા એન્જિનિયરોને સંપૂર્ણપણે બદલી શકશે નહીં; તે SQL ડ્રાફ્ટિંગ, પાઇપલાઇન સ્કેફોલ્ડિંગ, પરીક્ષણો અને દસ્તાવેજીકરણ જેવા પુનરાવર્તિત કાર્યને સ્વચાલિત કરશે. જો તમારી ભૂમિકા મોટે ભાગે ઓછી માલિકી, ટિકિટ-આધારિત કાર્યની હોય, તો તે વધુ ખુલ્લી હોય છે; જો તમારી પાસે વિશ્વસનીયતા, વ્યાખ્યાઓ, શાસન અને ઘટના પ્રતિભાવ હોય, તો AI મુખ્યત્વે તમને ઝડપી બનાવે છે.

મુખ્ય બાબતો:

માલિકી: પરિણામો માટે જવાબદારીને પ્રાથમિકતા આપો, ફક્ત ઝડપથી કોડ બનાવવાને નહીં.

ગુણવત્તા: પરીક્ષણો, અવલોકનક્ષમતા અને કરારો બનાવો જેથી પાઇપલાઇન્સ વિશ્વસનીય રહે.

શાસન: ગોપનીયતા, ઍક્સેસ નિયંત્રણ, રીટેન્શન અને ઓડિટ ટ્રેલ્સ માનવ માલિકીના રાખો.

દુરુપયોગ પ્રતિકાર: AI આઉટપુટને ડ્રાફ્ટ તરીકે ગણો; આત્મવિશ્વાસપૂર્ણ ખોટીતાને ટાળવા માટે તેમની સમીક્ષા કરો.

ભૂમિકા પરિવર્તન: બોઈલરપ્લેટ ટાઇપ કરવામાં ઓછો સમય અને ટકાઉ સિસ્ટમ ડિઝાઇન કરવામાં વધુ સમય વિતાવો.

જો તમે ડેટા ટીમોની આસપાસ પાંચ મિનિટથી વધુ સમય વિતાવ્યો હોય, તો તમે આ અવાજ સાંભળ્યો હશે - ક્યારેક બબડાટ, ક્યારેક મીટિંગમાં વાર્તાના વળાંકની જેમ શરૂ થતો: શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?

અને... મને સમજાયું. AI SQL જનરેટ કરી શકે છે, પાઇપલાઇન બનાવી શકે છે, સ્ટેક ટ્રેસ સમજાવી શકે છે, dbt મોડેલ્સ ડ્રાફ્ટ કરી શકે છે, અને વેરહાઉસ સ્કીમા પણ અનિશ્ચિત આત્મવિશ્વાસ સાથે સૂચવી શકે છે. SQL માટે GitHub Copilot dbt મોડેલ્સ વિશે GitHub Copilot
એવું લાગે છે કે ફોર્કલિફ્ટને જગલ કરતા શીખતા જોવું. પ્રભાવશાળી, થોડું ચિંતાજનક, અને તમને ખાતરી નથી કે તમારા કામ માટે તેનો શું અર્થ છે 😅

પરંતુ સત્ય હેડલાઇન કરતાં ઓછું વ્યવસ્થિત છે. AI ડેટા એન્જિનિયરિંગને સંપૂર્ણપણે બદલી રહ્યું છે. તે નીરસ, પુનરાવર્તિત ભાગોને સ્વચાલિત કરી રહ્યું છે. તે "મને ખબર છે કે હું શું ઇચ્છું છું પણ વાક્યરચના યાદ નથી" ક્ષણોને ઝડપી બનાવી રહ્યું છે. તે નવા પ્રકારની અરાજકતા પણ પેદા કરી રહ્યું છે.

તો ચાલો, હાથ લહેરાતા આશાવાદ કે વિનાશક ગભરાટ વિના, તેને યોગ્ય રીતે રજૂ કરીએ.

આ પછી તમને વાંચવા ગમશે તેવા લેખો:

🔗 શું AI રેડિયોલોજિસ્ટનું સ્થાન લેશે?
ઇમેજિંગ AI વર્કફ્લો, ચોકસાઈ અને ભાવિ ભૂમિકાઓને કેવી રીતે બદલી નાખે છે.

🔗 શું AI એકાઉન્ટન્ટ્સનું સ્થાન લેશે?
AI કયા એકાઉન્ટિંગ કાર્યોને સ્વચાલિત કરે છે અને કયા માનવ રહે છે તે જુઓ.

🔗 શું AI રોકાણ બેન્કરોનું સ્થાન લેશે?
સોદા, સંશોધન અને ક્લાયન્ટ સંબંધો પર AI ની અસર સમજો.

🔗 શું AI વીમા એજન્ટોનું સ્થાન લેશે?
AI કેવી રીતે અંડરરાઇટિંગ, વેચાણ અને ગ્રાહક સપોર્ટને પરિવર્તિત કરે છે તે જાણો.

"એઆઈ ડેટા એન્જિનિયર્સને બદલે છે" પ્રશ્ન કેમ વારંવાર ઉભરી રહ્યો છે 😬

ડર એક ચોક્કસ જગ્યાએથી આવે છે: ડેટા એન્જિનિયરિંગમાં પુનરાવર્તિત કાર્ય ઘણું છે.

• SQL લેખન અને રિફેક્ટરિંગ

• ઇન્જેશન સ્ક્રિપ્ટ્સ બનાવી રહ્યા છીએ

• એક સ્કીમાથી બીજા સ્કીમામાં ફીલ્ડ્સનું મેપિંગ

• પરીક્ષણો અને મૂળભૂત દસ્તાવેજો બનાવવા

• પાઇપલાઇન નિષ્ફળતાઓનું ડીબગીંગ જે... એક પ્રકારની અનુમાનિત છે

પુનરાવર્તિત પેટર્નમાં AI અસામાન્ય રીતે સારું છે. અને ડેટા એન્જિનિયરિંગનો એક ભાગ બરાબર એ જ છે - પેટર્ન પર સ્ટેક્ડ પેટર્ન. GitHub કોપાયલટ કોડ સૂચનો

ઉપરાંત, ટૂલ્સ ઇકોસિસ્ટમ પહેલેથી જ જટિલતાને "છુપાવી" રહી છે:

• મેનેજ્ડ ELT કનેક્ટર્સ ફાઇવટ્રાન દસ્તાવેજો

• સર્વરલેસ કમ્પ્યુટ AWS લેમ્બડા (સર્વરલેસ કમ્પ્યુટ)

• એક-ક્લિક વેરહાઉસ જોગવાઈ

• ઓટો-સ્કેલિંગ ઓર્કેસ્ટ્રેશન અપાચે એરફ્લો દસ્તાવેજો

• ઘોષણાત્મક પરિવર્તન માળખા dbt શું છે?

તો જ્યારે AI દેખાય છે, ત્યારે તે છેલ્લા ભાગ જેવું લાગે છે. જો સ્ટેક પહેલાથી જ એબ્સ્ટ્રેક્ટેડ હોય, અને AI ગ્લુ કોડ લખી શકે... તો શું બાકી રહે છે? 🤷

પરંતુ અહીં એક વાત છે જે લોકો અવગણે છે: ડેટા એન્જિનિયરિંગ મુખ્યત્વે ટાઇપિંગ નથી. ટાઇપિંગ એ સરળ ભાગ છે. મુશ્કેલ ભાગ એ છે કે અસ્પષ્ટ, રાજકીય, બદલાતી વ્યવસાયિક વાસ્તવિકતાને વિશ્વસનીય સિસ્ટમની જેમ વર્તે.

અને AI હજુ પણ તે અંધારા સાથે સંઘર્ષ કરે છે. લોકો પણ સંઘર્ષ કરે છે - તેઓ ફક્ત વધુ સારી રીતે ઇમ્પ્રુવાઇઝ કરે છે.

ડેટા એન્જિનિયરો ખરેખર આખો દિવસ શું કરે છે (અનગ્લામર સત્ય) 🧱

ચાલો સ્પષ્ટ કહીએ - "ડેટા એન્જિનિયર" નોકરીનું શીર્ષક એવું લાગે છે કે તમે શુદ્ધ ગણિતનો ઉપયોગ કરીને રોકેટ એન્જિન બનાવી રહ્યા છો. વ્યવહારમાં, તમે વિશ્વાસ.

એક સામાન્ય દિવસ "નવા અલ્ગોરિધમ્સ શોધવા" ઓછો અને વધુ હોય છે:

• ડેટા વ્યાખ્યાઓ વિશે અપસ્ટ્રીમ ટીમો સાથે વાટાઘાટો (પીડાદાયક પણ જરૂરી)

• મેટ્રિક કેમ બદલાયું (અને તે વાસ્તવિક છે કે કેમ) તેની તપાસ કરવી

• સ્કીમા ડ્રિફ્ટ અને "કોઈએ મધ્યરાત્રિએ કોલમ ઉમેર્યો" આશ્ચર્યને હેન્ડલ કરવું

• ખાતરી કરવી કે પાઇપલાઇન્સ અક્ષમ, પુનઃપ્રાપ્ત કરી શકાય તેવી, અવલોકનક્ષમ છે

• ડાઉનસ્ટ્રીમ વિશ્લેષકો આકસ્મિક રીતે વાહિયાત ડેશબોર્ડ ન બનાવે તે માટે ગાર્ડરેલ્સ બનાવવી

• ખર્ચનું સંચાલન કરો જેથી તમારું વેરહાઉસ પૈસાની આગમાં ફેરવાઈ ન જાય 🔥

• ઍક્સેસ, ઓડિટિંગ, પાલન, રીટેન્શન નીતિઓ સુરક્ષિત કરવી GDPR સિદ્ધાંતો (યુરોપિયન કમિશન) સ્ટોરેજ મર્યાદા (ICO)

• ડેટા પ્રોડક્ટ્સ બનાવવી જેનો ઉપયોગ લોકો ખરેખર DM કર્યા વિના કરી શકે, 20 પ્રશ્નો

કામનો મોટો ભાગ સામાજિક અને કાર્યકારી છે:

• "આ ટેબલ કોનું છે?"

• "શું આ વ્યાખ્યા હજુ પણ માન્ય છે?"

• "CRM ડુપ્લિકેટ નિકાસ કેમ કરી રહ્યું છે?"

• "શું આપણે આ મેટ્રિક અધિકારીઓને શરમ વગર મોકલી શકીએ?" 😭

ચોક્કસ, AI આના કેટલાક ભાગોમાં મદદ કરી શકે છે. પરંતુ તેને સંપૂર્ણપણે બદલવું એ... એક મુશ્કેલી છે.

ડેટા એન્જિનિયરિંગ ભૂમિકાનું મજબૂત સંસ્કરણ શું બનાવે છે? ✅

આ વિભાગ મહત્વપૂર્ણ છે કારણ કે રિપ્લેસમેન્ટ ચર્ચા સામાન્ય રીતે ધારે છે કે ડેટા એન્જિનિયરો મુખ્યત્વે "પાઇપલાઇન બિલ્ડરો" છે. તે એવું માની લેવા જેવું છે કે રસોઈયા મુખ્યત્વે "શાકભાજી કાપે છે". તે કામનો એક ભાગ છે, પરંતુ તે કામ નથી.

ડેટા એન્જિનિયરના મજબૂત સંસ્કરણનો અર્થ સામાન્ય રીતે એ થાય છે કે તેઓ આમાંથી મોટા ભાગના કરી શકે છે:

• પરિવર્તન માટે ડિઝાઇન
  ડેટા બદલાય છે. ટીમો બદલાય છે. સાધનો બદલાય છે. એક સારો ઇજનેર એવી સિસ્ટમ બનાવે છે જે વાસ્તવિકતા છીંક આવે ત્યારે દર વખતે તૂટી પડતી નથી 🤧

• કરારો અને અપેક્ષાઓ વ્યાખ્યાયિત કરો
  "ગ્રાહક" નો અર્થ શું છે? "સક્રિય" નો અર્થ શું છે? જ્યારે કોઈ વિવાદ મોડા આવે છે ત્યારે શું થાય છે? ફેન્સી કોડ કરતાં કોન્ટ્રાક્ટ્સ અરાજકતાને વધુ અટકાવે છે. ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS) ODCS (GitHub)

• દરેક વસ્તુમાં અવલોકનક્ષમતા બનાવો
  ફક્ત "શું તે ચાલ્યું" નહીં પણ "શું તે યોગ્ય રીતે ચાલ્યું." તાજગી, વોલ્યુમ વિસંગતતાઓ, શૂન્ય વિસ્ફોટો, વિતરણ શિફ્ટ. ડેટા અવલોકનક્ષમતા (ડાયનેટ્રેસ) ડેટા અવલોકનક્ષમતા શું છે?

• પુખ્ત વયના લોકો માટે
  ગતિ વિરુદ્ધ ચોકસાઈ, કિંમત વિરુદ્ધ વિલંબતા, સુગમતા વિરુદ્ધ સરળતા જેવા સંબંધો બનાવો. કોઈ સંપૂર્ણ પાઇપલાઇન નથી હોતી, ફક્ત એવી પાઇપલાઇન્સ હોય છે જેની સાથે તમે જીવી શકો છો.

• વ્યવસાયની જરૂરિયાતોને ટકાઉ સિસ્ટમમાં રૂપાંતરિત કરો
  લોકો મેટ્રિક્સ માંગે છે, પરંતુ તેમને જે જોઈએ છે તે ડેટા પ્રોડક્ટ છે. AI કોડ ડ્રાફ્ટ કરી શકે છે, પરંતુ તે જાદુઈ રીતે વ્યવસાયના લેન્ડમાઇન્સને જાણી શકતું નથી.

• ડેટાને શાંત રાખો
  ડેટા પ્લેટફોર્મ માટે સૌથી મોટી પ્રશંસા એ છે કે કોઈ તેના વિશે વાત કરતું નથી. અણધાર્યો ડેટા સારો ડેટા છે. પ્લમ્બિંગની જેમ. જ્યારે તે નિષ્ફળ જાય છે ત્યારે જ તમને તે દેખાય છે 🚽

જો તમે આ વસ્તુઓ કરી રહ્યા છો, તો "શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?" પ્રશ્ન થોડો અસ્પષ્ટ લાગવા લાગે છે... AI કાર્યોને બદલી શકે છે, માલિકીનું નહીં .

જ્યાં AI પહેલાથી જ ડેટા એન્જિનિયરોને મદદ કરી રહ્યું છે (અને તે ખરેખર મહાન છે) 🤖✨

AI ફક્ત માર્કેટિંગ નથી. સારી રીતે ઉપયોગમાં લેવાથી, તે એક કાયદેસર બળ ગુણક છે.

૧) ઝડપી SQL અને રૂપાંતર કાર્ય

• જટિલ જોડાણોનો ડ્રાફ્ટિંગ

• વિન્ડો ફંક્શન લખવા જેના વિશે તમે વિચારવા માંગતા નથી

• સાદા ભાષાના તર્કને ક્વેરી સ્કેલેટનમાં ફેરવવું

• SQL માટે વાંચી શકાય તેવા CTEs GitHub Copilot માં કદરૂપી પ્રશ્નોનું રિફેક્ટરિંગ

આ ખૂબ મોટું છે કારણ કે તે "ખાલી પાનું" અસર ઘટાડે છે. તમારે હજુ પણ માન્ય કરવાની જરૂર છે, પરંતુ તમારે 0% ને બદલે 70% થી શરૂઆત કરવી પડશે.

૨) ડીબગીંગ અને રુટ કોઝ બ્રેડક્રમ્સ

AI આમાં યોગ્ય છે:

• ભૂલ સંદેશાઓ સમજાવવા

• ક્યાં જોવું તે સૂચવી રહ્યું છે

• "ચેક સ્કીમા મિસમેચ" પ્રકારના પગલાંની ભલામણ GitHub Copilot
  એ એક અથાક જુનિયર એન્જિનિયર જેવું છે જે ક્યારેય ઊંઘતો નથી અને ક્યારેક આત્મવિશ્વાસથી જૂઠું બોલે છે 😅

૩) દસ્તાવેજીકરણ અને ડેટા કેટલોગ સંવર્ધન

આપમેળે જનરેટ થયેલ:

• કૉલમ વર્ણનો

• મોડેલ સારાંશ

• વંશાવળીના ખુલાસા

• "આ ટેબલ શેના માટે વપરાય છે?" ડ્રાફ્ટ્સ dbt દસ્તાવેજીકરણ

તે સંપૂર્ણ નથી, પરંતુ તે બિનદસ્તાવેજીકૃત પાઇપલાઇન્સના શાપને તોડે છે.

૪) સ્કેફોલ્ડિંગનું પરીક્ષણ અને તપાસ

AI પ્રસ્તાવિત કરી શકે છે:

• મૂળભૂત શૂન્ય પરીક્ષણો

• વિશિષ્ટતા તપાસ

• સંદર્ભિત અખંડિતતાના વિચારો

• "આ મેટ્રિક ક્યારેય ઘટવો જોઈએ નહીં" શૈલીના દાવાઓ dbt ડેટા પરીક્ષણો મહાન અપેક્ષાઓ: અપેક્ષાઓ

ફરીથી - તમે હજુ પણ નક્કી કરો છો કે શું મહત્વનું છે, પરંતુ તે નિયમિત ભાગોને ઝડપી બનાવે છે.

૫) પાઇપલાઇન "ગુંદર" કોડ

રૂપરેખા ટેમ્પ્લેટ્સ, YAML સ્કેફોલ્ડ્સ, ઓર્કેસ્ટ્રેશન DAG ડ્રાફ્ટ્સ. તે વસ્તુઓ પુનરાવર્તિત છે અને AI નાસ્તામાં વારંવાર ખાય છે 🥣 અપાચે એરફ્લો DAGs

જ્યાં AI હજુ પણ સંઘર્ષ કરી રહ્યું છે (અને આ તેનો મુખ્ય ભાગ છે) 🧠🧩

આ તે ભાગ છે જે સૌથી મહત્વપૂર્ણ છે, કારણ કે તે વાસ્તવિક રચના સાથે રિપ્લેસમેન્ટ પ્રશ્નનો જવાબ આપે છે.

૧) અસ્પષ્ટતા અને બદલાતી વ્યાખ્યાઓ

વ્યાપારિક તર્ક ભાગ્યે જ સ્પષ્ટ હોય છે. લોકો વાક્યની વચ્ચે જ પોતાનો વિચાર બદલી નાખે છે. "સક્રિય વપરાશકર્તા" "સક્રિય ચુકવણી કરનાર વપરાશકર્તા" બની જાય છે "કેટલીક વાર સિવાય રિફંડ સિવાય સક્રિય ચુકવણી કરનાર વપરાશકર્તા"... તમે જાણો છો કે તે કેવી રીતે છે.

એઆઈ આ અસ્પષ્ટતાને સ્વીકારી શકતું નથી. તે ફક્ત અનુમાન કરી શકે છે.

૨) જવાબદારી અને જોખમ

જ્યારે પાઇપલાઇન તૂટી જાય અને એક્ઝિક્યુટિવ ડેશબોર્ડ બકવાસ બતાવે, ત્યારે કોઈએ:

• ત્રિમાસિક ગાળા

• અસર પહોંચાડો

• તેને ઠીક કરો

• પુનરાવર્તન અટકાવો

• પોસ્ટમોર્ટમ લખો

• નક્કી કરો કે શું વ્યવસાય હજુ પણ ગયા અઠવાડિયાના આંકડાઓ પર વિશ્વાસ કરી શકે છે

AI મદદ કરી શકે છે, પરંતુ તે અર્થપૂર્ણ રીતે જવાબદાર ન હોઈ શકે. સંસ્થાઓ વાઇબ્સ પર ચાલતી નથી - તે જવાબદારી પર ચાલે છે.

૩) સિસ્ટમ વિચારસરણી

ડેટા પ્લેટફોર્મ્સ ઇકોસિસ્ટમ છે: ઇન્જેશન, સ્ટોરેજ, ટ્રાન્સફોર્મેશન, ઓર્કેસ્ટ્રેશન, ગવર્નન્સ, કોસ્ટ કંટ્રોલ, SLA. એક સ્તરના રિપલ્સમાં ફેરફાર. અપાચે એરફ્લો ખ્યાલો

AI સ્થાનિક ઑપ્ટિમાઇઝેશનનો પ્રસ્તાવ મૂકી શકે છે જે વૈશ્વિક પીડા પેદા કરે છે. તે દરવાજાને દૂર કરીને ધ્રુજારીવાળા દરવાજાને ઠીક કરવા જેવું છે 😬

૪) સુરક્ષા, ગોપનીયતા, પાલન

આ તે જગ્યા છે જ્યાં રિપ્લેસમેન્ટની કલ્પનાઓ મરી જાય છે.

• ઍક્સેસ નિયંત્રણો

• પંક્તિ-સ્તરની સુરક્ષા સ્નોફ્લેક પંક્તિ ઍક્સેસ નીતિઓ BigQuery પંક્તિ-સ્તરની સુરક્ષા

• NIST ગોપનીયતા ફ્રેમવર્કનું સંચાલન કરતી PII

• રીટેન્શન નિયમો સ્ટોરેજ મર્યાદા (ICO) રીટેન્શન પર EU માર્ગદર્શન

• ઓડિટ ટ્રેલ્સ NIST SP 800-92 (લોગ મેનેજમેન્ટ) CIS કંટ્રોલ 8 (ઓડિટ લોગ મેનેજમેન્ટ)

• ડેટા રેસીડેન્સી મર્યાદાઓ

AI નીતિઓ ઘડી શકે છે, પરંતુ તેનો સુરક્ષિત રીતે અમલ કરવો એ વાસ્તવિક ઇજનેરી છે.

૫) "અજાણ્યા અજાણ્યા"

ડેટા ઘટનાઓ ઘણીવાર અણધારી હોય છે:

• વિક્રેતા API શાંતિથી અર્થશાસ્ત્રમાં ફેરફાર કરે છે

• સમય ઝોન ધારણા ઉલટી થાય છે

• બેકફિલ પાર્ટીશનની નકલ કરે છે

• પુનઃપ્રયાસ પદ્ધતિ ડબલ લખાણનું કારણ બને છે

• નવી પ્રોડક્ટ સુવિધા નવા ઇવેન્ટ પેટર્ન રજૂ કરે છે

જ્યારે પરિસ્થિતિ જાણીતી પેટર્ન ન હોય ત્યારે AI નબળું પડે છે.

સરખામણી કોષ્ટક: વ્યવહારમાં શું શું ઘટાડે છે 🧾🤔

નીચે એક વ્યવહારુ દૃષ્ટિકોણ છે. "લોકો બદલતા સાધનો" નહીં, પરંતુ એવા સાધનો અને અભિગમો જે ચોક્કસ કાર્યોને સંકોચાય છે.

શું ખૂટે છે તે જુઓ: એક પંક્તિ જે કહે છે કે "ડેટા એન્જિનિયર્સને દૂર કરવા માટે બટન દબાવો." હા... તે પંક્તિ અસ્તિત્વમાં નથી 🙃

તો... શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે, કે પછી ફક્ત ભૂમિકા બદલી નાખશે? 🛠️

અહીં બિન-નાટકીય જવાબ છે: AI કાર્યપ્રવાહના ભાગોને બદલશે, વ્યવસાયને નહીં.

પણ તે ભૂમિકાને ફરીથી ગોઠવશે. અને જો તમે તેને અવગણશો, તો તમને દબાણનો અનુભવ થશે .

શું બદલાય છે:

• બોઈલરપ્લેટ લખવામાં ઓછો સમય

• દસ્તાવેજો શોધવામાં ઓછો સમય

• સમીક્ષા, માન્યતા, ડિઝાઇનિંગ માટે વધુ સમય

• કોન્ટ્રાક્ટ્સ અને ગુણવત્તા અપેક્ષાઓને વ્યાખ્યાયિત કરવામાં વધુ સમય લાગશે ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS)

• ઉત્પાદન, સુરક્ષા, નાણાકીય બાબતો સાથે વધુ સમય ભાગીદારી કરો

આ એક સૂક્ષ્મ પરિવર્તન છે: ડેટા એન્જિનિયરિંગ "પાઈપલાઈન બનાવવા" વિશે ઓછું અને "વિશ્વસનીય ડેટા પ્રોડક્ટ સિસ્ટમ બનાવવા" વિશે વધુ બને છે

અને શાંત વળાંકમાં, તે વધુ મૂલ્યવાન છે, ઓછું નહીં.

ઉપરાંત - અને હું આ કહેવા જઈ રહ્યો છું, ભલે તે નાટકીય લાગે - AI એવા લોકોની સંખ્યામાં વધારો કરે છે જેઓ ડેટા આર્ટિફેક્ટ્સ ઉત્પન્ન કરી શકે છે, જે સમગ્ર વસ્તુને સ્વસ્થ રાખવા માટે કોઈની જરૂરિયાત વધારે છે. વધુ આઉટપુટ એટલે વધુ સંભવિત મૂંઝવણ. GitHub Copilot

આ તો બધાને પાવર ડ્રીલ આપવા જેવું છે. સરસ! હવે કોઈને તો "કૃપા કરીને પાણીના પાઈપમાં ડ્રીલ ન કરો" નિયમ લાગુ કરવાની જરૂર છે 🪠

નવો કૌશલ્ય સ્ટેક જે મૂલ્યવાન રહે છે (બધે AI હોવા છતાં પણ) 🧠⚙️

જો તમને વ્યવહારુ "ભવિષ્ય-પ્રૂફ" ચેકલિસ્ટ જોઈતી હોય, તો તે આના જેવું દેખાય છે:

સિસ્ટમ ડિઝાઇન માનસિકતા

• ડેટા મોડેલિંગ જે પરિવર્તનને ટકી રહે છે

• બેચ વિરુદ્ધ સ્ટ્રીમિંગ ટ્રેડઓફ્સ

• વિલંબ, કિંમત, વિશ્વસનીયતા વિશે વિચારસરણી

ડેટા ગુણવત્તા ઇજનેરી

• કોન્ટ્રેક્ટ્સ, માન્યતાઓ, વિસંગતતા શોધ ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS) ડેટા અવલોકનક્ષમતા (ડાયનેટ્રાસ)

• SLA, SLO, ઘટના પ્રતિભાવ ટેવો

• શિસ્ત સાથે મૂળ કારણ વિશ્લેષણ (વાઇબ્સ નહીં)

શાસન અને ટ્રસ્ટ સ્થાપત્ય

• દાખલાઓ ઍક્સેસ કરો

• ઓડિટબિલિટી NIST SP 800-92 (લોગ મેનેજમેન્ટ)

• ડિઝાઇન દ્વારા ગોપનીયતા NIST ગોપનીયતા ફ્રેમવર્ક

• ડેટા લાઇફસાઇકલ મેનેજમેન્ટ રીટેન્શન પર EU માર્ગદર્શન

પ્લેટફોર્મ વિચારસરણી

• ફરીથી વાપરી શકાય તેવા નમૂનાઓ, સુવર્ણ માર્ગો

• ઇન્જેશન, ટ્રાન્સફોર્મ્સ, ટેસ્ટિંગ ફાઇવટ્રાન ડીબીટી ડેટા ટેસ્ટ માટે માનકકૃત પેટર્ન

• સેલ્ફ-સર્વિસ ટૂલિંગ જે ઓગળતું નથી

વાતચીત (હા, ખરેખર)

• સ્પષ્ટ દસ્તાવેજો લખવા

• વ્યાખ્યાઓનું સંરેખણ

• નમ્રતાથી પણ મક્કમતાથી "ના" કહેવું

• રોબોટ જેવો અવાજ કર્યા વિના ટ્રેડઓફ્સ સમજાવવું 🤖

જો તમે આ કરી શકો, તો "શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?" એ પ્રશ્ન ઓછો જોખમી બને છે. AI તમારું એક્સોસ્કેલેટન બને છે, તમારું રિપ્લેસમેન્ટ નહીં.

વાસ્તવિક દૃશ્યો જ્યાં કેટલીક ડેટા એન્જિનિયરિંગ ભૂમિકાઓ સંકોચાય છે 📉

ઠીક છે, ઝડપી વાસ્તવિકતા તપાસો, કારણ કે આ બધું સનશાઇન અને ઇમોજી કોન્ફેટી નથી 🎉

કેટલીક ભૂમિકાઓ વધુ ખુલ્લી છે:

• શુદ્ધ ઇન્જેશન-માત્ર ભૂમિકાઓ જ્યાં બધું પ્રમાણભૂત કનેક્ટર્સ છે ફાઇવટ્રાન કનેક્ટર્સ

• ટીમો ન્યૂનતમ ડોમેન સૂક્ષ્મતા સાથે મોટે ભાગે પુનરાવર્તિત રિપોર્ટિંગ પાઇપલાઇન્સ કરે છે

• એવી સંસ્થાઓ જ્યાં ડેટા એન્જિનિયરિંગને "SQL વાંદરા" તરીકે ગણવામાં આવે છે (કઠોર, પણ સાચું)

• ઓછી માલિકીની ભૂમિકાઓ જ્યાં નોકરી ફક્ત ટિકિટ અને કોપી-પેસ્ટ જેવી હોય છે

AI વત્તા મેનેજ્ડ ટૂલિંગ તે જરૂરિયાતોને ઘટાડી શકે છે.

પરંતુ ત્યાં પણ, રિપ્લેસમેન્ટ સામાન્ય રીતે આના જેવું દેખાય છે:

• એક જ પુનરાવર્તિત કાર્ય કરતા ઓછા લોકો

• પ્લેટફોર્મ માલિકી અને વિશ્વસનીયતા પર વધુ ભાર

• "એક વ્યક્તિ વધુ પાઇપલાઇન્સને ટેકો આપી શકે છે" તરફનો ફેરફાર

તો હા - કર્મચારીઓની ગણતરીની પેટર્ન બદલાઈ શકે છે. ભૂમિકાઓ બદલાય છે. શીર્ષકો બદલાય છે. તે ભાગ વાસ્તવિક છે.

છતાં, ભૂમિકાનું ઉચ્ચ-માલિકી, ઉચ્ચ-વિશ્વાસ સંસ્કરણ ટકી રહે છે.

સમાપન સારાંશ 🧾✅

શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે? લોકોની કલ્પના મુજબ સ્વચ્છ અને સંપૂર્ણ રીતે નહીં.

AI કરશે:

• પુનરાવર્તિત કાર્યોને સ્વચાલિત કરો

• કોડિંગ, ડિબગીંગ અને દસ્તાવેજીકરણને વેગ આપો SQL dbt દસ્તાવેજીકરણ માટે GitHub કોપાયલટ

• પાઇપલાઇનના ઉત્પાદન ખર્ચમાં ઘટાડો

પરંતુ ડેટા એન્જિનિયરિંગ મૂળભૂત રીતે આ વિશે છે:

• જવાબદારી

• સિસ્ટમ ડિઝાઇન

• ટ્રસ્ટ, ગુણવત્તા અને શાસન ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS) NIST ગોપનીયતા માળખું

• અસ્પષ્ટ વ્યવસાયિક વાસ્તવિકતાને વિશ્વસનીય ડેટા ઉત્પાદનોમાં અનુવાદિત કરવી

AI તેમાં મદદ કરી શકે છે... પણ તે તેનું "માલિકી" ધરાવતું નથી.

જો તમે ડેટા એન્જિનિયર છો, તો આ પગલું સરળ છે (સરળ નથી, પણ સરળ છે):
માલિકી, ગુણવત્તા, પ્લેટફોર્મ વિચારસરણી અને સંદેશાવ્યવહાર પર ધ્યાન આપો. જ્યારે તમે મહત્વપૂર્ણ ભાગોને સંભાળો છો ત્યારે AI ને બોઈલરપ્લેટ સંભાળવા દો.

અને હા - ક્યારેક એનો અર્થ એ થાય કે રૂમમાં મોટા થઈ જવું. મોહક નહીં. છતાં શાંત અને શક્તિશાળી 😄

શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?
તે કેટલાક કાર્યોને બદલશે, સીડીમાં ફેરફાર કરશે અને શ્રેષ્ઠ ડેટા એન્જિનિયર્સને વધુ મૂલ્યવાન બનાવશે. આ જ વાસ્તવિક વાર્તા છે.

વાસ્તવિક દુનિયાનું ઉદાહરણ: AI-સહાયિત ડેટા પાઇપલાઇન સમીક્ષા વર્કફ્લો બનાવવી 🛠️

દૃશ્ય

એક નાની ઈ-કોમર્સ કંપનીની કલ્પના કરો જેમાં એક ડેટા એન્જિનિયર, બે વિશ્લેષકો અને ખૂબ જ પરિચિત સમસ્યા હોય: જ્યારે પણ ચુકવણી પ્રદાતા કોઈ ક્ષેત્રનું નામ બદલે છે ત્યારે ફાઇનાન્સ ડેશબોર્ડ તૂટી પડતું રહે છે.

ટીમ ઇચ્છતી નથી કે AI પાઇપલાઇનનો "માલિકી" બને. તે જોખમી હશે. તેના બદલે, તેઓ નિયમિત પરંતુ મહત્વપૂર્ણ કાર્ય માટે AI નો ઉપયોગ પ્રથમ-ડ્રાફ્ટ સહાયક તરીકે કરે છે: dbt મોડેલ સ્કેલેટન લખવા, પરીક્ષણો સૂચવવા, દસ્તાવેજોનો મુસદ્દો તૈયાર કરવા અને કોડ સમીક્ષા માટે ચેકલિસ્ટ બનાવવા.

માનવ ડેટા એન્જિનિયર હજુ પણ અંતિમ ડિઝાઇન, ડેટા વ્યાખ્યાઓ, ઍક્સેસ નિયમો અને ઉત્પાદન જમાવટનો માલિક છે. AI ફક્ત જટિલ મધ્યમ સ્ટ્રેચને ઝડપી બનાવે છે.

વર્કફ્લો માટે શું જરૂરી છે

AI નો ઉપયોગ કરતા પહેલા, ટીમ તેને મદદરૂપ થવા માટે પૂરતો સંદર્ભ આપે છે:

• હાલની ચુકવણી કોષ્ટક યોજના

• લક્ષ્ય નાણાકીય મેટ્રિક વ્યાખ્યાઓ, જેમ કે "ચોખ્ખી આવક", "રિફંડ રકમ", અને "સેટલ્ડ પેમેન્ટ"

• ડીબીટી મોડેલો માટે નામકરણ પરંપરાઓ

• માન્ય પરીક્ષણોના ઉદાહરણો

• ચુકવણી ફીડ માટે એક ટૂંકો ડેટા કરાર

• PII, નિષ્ફળ ચુકવણીઓ, ડુપ્લિકેટ્સ અને મોડા પહોંચતા રેકોર્ડ્સને હેન્ડલ કરવાના નિયમો

• ભૂતકાળની ઘટનાઓનો નમૂનો, જેમાં શું ખોટું થયું અને તેને કેવી રીતે સુધાર્યું તે સહિત

મુખ્ય વાત "AI ને પાઇપલાઇન બનાવવા માટે કહો" એ નથી. તે ખૂબ જ અસ્પષ્ટ છે.

મજબૂત અભિગમ એ છે કે: "અહીં આપણા નિયમો છે, અહીં સ્કીમા છે, અહીં અપેક્ષિત વર્તન છે. આપણે સમીક્ષા કરી શકીએ તેવું કંઈક ડ્રાફ્ટ કરો."

ઉદાહરણ સૂચના

તમે અમારા ચુકવણી ડેટા માટે dbt મોડેલનો મુસદ્દો તૈયાર કરવામાં મદદ કરી રહ્યા છો. ફર્સ્ટ-પાસ મોડેલ, સૂચવેલ dbt પરીક્ષણો અને દસ્તાવેજીકરણ નોંધો બનાવવા માટે નીચે આપેલા સ્કીમા અને નિયમોનો ઉપયોગ કરો.

મોડેલમાં ઓર્ડર_આઈડી અને પેમેન્ટ_પ્રોવાઈડર દ્વારા દૈનિક સેટલમેન્ટ આવકની ગણતરી કરવી આવશ્યક છે. નિષ્ફળ ચુકવણીઓ બાકાત રાખો, પરીક્ષણ વ્યવહારો બાકાત રાખો અને રિફંડ_સ્ટેટસ = "પુષ્ટિ" થાય ત્યારે જ રિફંડ બાદ કરો.

કૉલમ શોધશો નહીં. જો જરૂરી કૉલમ ખૂટે છે, તો તેને અનુમાન લગાવવાને બદલે "માનવ સમીક્ષા માટેના પ્રશ્નો" હેઠળ સૂચિબદ્ધ કરો.

વિશિષ્ટતા, શૂન્ય મૂલ્યો, સ્વીકૃત મૂલ્યો અને આવક વાજબીતા માટેના પરીક્ષણો પણ સૂચવો. નાણાકીય રિપોર્ટિંગને અસર કરી શકે તેવા કોઈપણ તર્કને ચિહ્નિત કરો.

તેનું પરીક્ષણ કેવી રીતે કરવું

સમજદાર કસોટી નાની અને ઇરાદાપૂર્વક સામાન્ય હોય છે:

• AI ને એક જાણીતી-સારી ચુકવણી યોજના આપો અને તપાસો કે તે શોધ ક્ષેત્રોને ટાળે છે કે નહીં.

• તેને એક સ્કીમા આપો જેમાં રિફંડ_સ્ટેટસ કોલમ ખૂટે છે અને જુઓ કે તે અનુમાન લગાવવાને બદલે પ્રશ્ન પૂછે છે કે નહીં.

• જનરેટ થયેલ SQL ને સ્ટેજીંગ ડેટાસેટ સામે ચલાવો, પ્રોડક્શન સામે નહીં.

• આઉટપુટની સરખામણી 20 મેન્યુઅલી ચેક કરેલા ચુકવણી રેકોર્ડ સાથે કરો.

• મર્જ કરતા પહેલા વિશ્લેષક અને ડેટા એન્જિનિયરને વ્યાખ્યાઓની સમીક્ષા કરવા કહો.

• સ્વીકૃત પરીક્ષણો CI માં ઉમેરો જેથી પાઇપલાઇન ડિપ્લોયમેન્ટ પછી પોતાને તપાસતી રહે.

મહત્વની બાબત એ છે કે તમને સૌથી વધુ ડર લાગતી નિષ્ફળતાની રીતો પર AI નું પરીક્ષણ કરો: બનાવેલા કૉલમ, ખોટો રેવન્યુ લોજિક, ગુમ થયેલ રિફંડ હેન્ડલિંગ અને સાયલન્ટ ડુપ્લિકેટ પંક્તિઓ.

પરિણામ

ઉદાહરણરૂપ પરિણામ: આ વર્કફ્લોનો ઉપયોગ કરતા પહેલા અને પછી પાઇપલાઇન-ચેન્જના ત્રણ નમૂના કાર્યોના સમયના આધારે.

AI નો ઉપયોગ કરતા પહેલા, એન્જિનિયરે દરેક ફેરફાર માટે લગભગ 5 કલાક 30 મિનિટનો સમય વિતાવ્યો: આશરે 2 કલાક SQL લખવામાં, 1 કલાક પરીક્ષણો બનાવવામાં, 45 મિનિટ દસ્તાવેજો લખવામાં, અને બાકીના ફાઇનાન્સ સાથે એજ કેસ તપાસવામાં.

ફક્ત પ્રથમ ડ્રાફ્ટ માટે AI નો ઉપયોગ થતો હોવાથી, તે જ પ્રકારના ફેરફારમાં લગભગ 2 કલાક 10 મિનિટનો સમય લાગતો હતો. સૌથી મોટી બચત ટેસ્ટ સ્કેફોલ્ડિંગ અને ડોક્યુમેન્ટેશન ડ્રાફ્ટ્સથી થઈ, જે 1 કલાક 45 મિનિટથી ઘટીને લગભગ 25 મિનિટ થઈ ગઈ.

માનવ સમીક્ષાના પગલામાં હજુ પણ લગભગ 45 મિનિટ લાગી, અને તેને દૂર ન કરવી જોઈએ.

ત્રણ-કાર્ય પરીક્ષણમાં, AI એ 18 ચેક સૂચવ્યા. એન્જિનિયરે 11 સ્વીકાર્યા, 5 સંપાદિત કર્યા અને 2 ને નકારી કાઢ્યા કારણ કે તેઓએ એવા વ્યવસાયિક નિયમો ધારણ કર્યા જે સાચા ન હતા. તે અસ્વીકાર ગણતરી મહત્વપૂર્ણ છે: તે સાબિત કરે છે કે કાર્યપ્રવાહને સમીક્ષાની જરૂર છે, આંધળો વિશ્વાસ નહીં.

શું ખોટું થઈ શકે છે?

AI પાઇપલાઇનને તેના કરતાં વધુ સંપૂર્ણ બનાવી શકે છે.

સામાન્ય નિષ્ફળતાના મુદ્દાઓમાં શામેલ છે:

• બુદ્ધિગમ્ય લાગે તેવા સ્તંભોની શોધ

• રિફંડ, ચાર્જબેક અને નિષ્ફળ ચુકવણીઓને એક જ વસ્તુ તરીકે ગણવી

• દૈનિક આવકમાં સમય ઝોન સમસ્યાઓ ખૂટે છે

• નાણાકીય ભૂલો ન પકડે તેવા સામાન્ય પરીક્ષણો સૂચવવા

• દસ્તાવેજીકરણ લખવું જે આત્મવિશ્વાસપૂર્ણ લાગે છે પણ અનિશ્ચિતતાને છુપાવે છે

• જ્યારે નમૂના ડેટામાં ગ્રાહકની વિગતો હોય ત્યારે ગોપનીયતા નિયમો ભૂલી જવું

એક સારો નિયમ: AI મોડેલનો મુસદ્દો તૈયાર કરી શકે છે, પરંતુ માનવીએ વ્યાખ્યાઓ, મની લોજિક, એક્સેસ કંટ્રોલ અને પ્રોડક્શન રિલીઝ પર સહી કરવી પડશે.

વ્યવહારુ ઉપાય

ડેટા એન્જિનિયરિંગમાં AI નું મૂલ્યવાન સંસ્કરણ "ડેટા એન્જિનિયરને બદલો" નથી. તે "ખાલી પૃષ્ઠ દૂર કરો, પછી સખત સમીક્ષા કરો" છે.

તેનો અર્થ એ કે ઝડપી SQL, ઝડપી પરીક્ષણો અને વધુ સારા ફર્સ્ટ-પાસ દસ્તાવેજીકરણ, જ્યારે એન્જિનિયર હજુ પણ સૌથી મહત્વપૂર્ણ ભાગનો માલિક છે: શું ડેટા સાચો, વિશ્વસનીય, સુરક્ષિત અને સમજાવી શકાય તેવો છે.

વારંવાર પૂછાતા પ્રશ્નો

શું AI ડેટા એન્જિનિયરોને સંપૂર્ણપણે બદલી નાખશે?

મોટાભાગની સંસ્થાઓમાં, AI ભૂમિકાને સંપૂર્ણપણે ભૂંસી નાખવા કરતાં ચોક્કસ કાર્યો સંભાળી લેવાની શક્યતા વધુ હોય છે. તે SQL ડ્રાફ્ટિંગ, પાઇપલાઇન સ્કેફોલ્ડિંગ, દસ્તાવેજીકરણ પ્રથમ પાસ અને મૂળભૂત પરીક્ષણ નિર્માણને વેગ આપી શકે છે. પરંતુ ડેટા એન્જિનિયરિંગમાં માલિકી અને જવાબદારી પણ હોય છે, ઉપરાંત અવ્યવસ્થિત વ્યવસાયિક વાસ્તવિકતાને વિશ્વસનીય સિસ્ટમની જેમ વર્તે તેવું અસ્પષ્ટ કાર્ય પણ હોય છે. તે ભાગોમાં હજુ પણ માનવીઓને "યોગ્ય" કેવું દેખાય છે તે નક્કી કરવાની અને જ્યારે વસ્તુઓ તૂટી જાય ત્યારે જવાબદારી લેવાની જરૂર છે.

ડેટા એન્જિનિયરિંગના કયા ભાગો AI પહેલાથી જ સ્વચાલિત થઈ રહ્યા છે?

પુનરાવર્તિત કાર્યમાં AI શ્રેષ્ઠ પ્રદર્શન કરે છે: SQL ડ્રાફ્ટિંગ અને રિફેક્ટરિંગ, dbt મોડેલ સ્કેલેટન જનરેટ કરવા, સામાન્ય ભૂલો સમજાવવા અને દસ્તાવેજીકરણ રૂપરેખાઓ ઉત્પન્ન કરવા. તે નલ અથવા વિશિષ્ટતા તપાસ જેવા સ્કેફોલ્ડ પરીક્ષણો પણ કરી શકે છે અને ઓર્કેસ્ટ્રેશન ટૂલ્સ માટે ટેમ્પલેટ "ગ્લુ" કોડ જનરેટ કરી શકે છે. જીત એ ગતિ છે - તમે કાર્યકારી ઉકેલની નજીક શરૂ કરો છો - પરંતુ તમારે હજુ પણ શુદ્ધતાને માન્ય કરવાની અને ખાતરી કરવાની જરૂર છે કે તે તમારા પર્યાવરણને અનુકૂળ છે.

જો AI SQL અને પાઇપલાઇન્સ લખી શકે છે, તો ડેટા એન્જિનિયરો માટે શું બાકી રહે છે?

ઘણું બધું: ડેટા કોન્ટ્રાક્ટ્સને વ્યાખ્યાયિત કરવું, સ્કીમા ડ્રિફ્ટને હેન્ડલ કરવું, અને પાઇપલાઇન્સ અયોગ્ય, અવલોકનક્ષમ અને પુનઃપ્રાપ્તિક્ષમ છે તેની ખાતરી કરવી. ડેટા એન્જિનિયરો મેટ્રિક ફેરફારોની તપાસ કરવામાં, ડાઉનસ્ટ્રીમ વપરાશકર્તાઓ માટે રેલિંગ બનાવવા અને ખર્ચ અને વિશ્વસનીયતા ટ્રેડઓફ્સનું સંચાલન કરવામાં સમય વિતાવે છે. કામ ઘણીવાર વિશ્વાસ બનાવવા અને ડેટા પ્લેટફોર્મને "શાંત" રાખવાનું હોય છે, જેનો અર્થ એ થાય કે કોઈને તેના વિશે રોજિંદા વિચારવાની જરૂર ન પડે.

ડેટા એન્જિનિયરના રોજિંદા કાર્યમાં AI કેવી રીતે ફેરફાર કરે છે?

તે સામાન્ય રીતે બોઈલરપ્લેટ અને "લુકઅપ સમય" ને ટ્રિમ કરે છે, તેથી તમે ટાઇપિંગમાં ઓછો સમય અને સમીક્ષા, માન્યતા અને ડિઝાઇનિંગમાં વધુ સમય વિતાવો છો. તે પરિવર્તન અપેક્ષાઓ, ગુણવત્તા ધોરણો અને ફરીથી વાપરી શકાય તેવા પેટર્નને વ્યાખ્યાયિત કરવા તરફ દોરી જાય છે, દરેક વસ્તુને હાથથી કોડિંગ કરવાને બદલે. વ્યવહારમાં, તમે ઉત્પાદન, સુરક્ષા અને નાણાકીય બાબતો સાથે વધુ ભાગીદારી કાર્ય કરશો - કારણ કે તકનીકી આઉટપુટ બનાવવાનું સરળ બને છે, પરંતુ તેનું સંચાલન કરવું મુશ્કેલ બને છે.

"સક્રિય વપરાશકર્તા" જેવી અસ્પષ્ટ વ્યવસાયિક વ્યાખ્યાઓ સાથે AI શા માટે સંઘર્ષ કરે છે?

કારણ કે વ્યવસાયિક તર્ક સ્થિર કે ચોક્કસ નથી - તે પ્રોજેક્ટની મધ્યમાં બદલાય છે અને હિસ્સેદાર દ્વારા બદલાય છે. AI અર્થઘટનનો મુસદ્દો તૈયાર કરી શકે છે, પરંતુ જ્યારે વ્યાખ્યાઓ વિકસિત થાય છે અથવા વિરોધાભાસ સપાટી પર આવે છે ત્યારે તે નિર્ણય લઈ શકતું નથી. ડેટા એન્જિનિયરિંગમાં ઘણીવાર વાટાઘાટો, ધારણાઓનું દસ્તાવેજીકરણ અને અસ્પષ્ટ જરૂરિયાતોને ટકાઉ કરારોમાં ફેરવવાની જરૂર પડે છે. તે "માનવ સંરેખણ" કાર્ય એક મુખ્ય કારણ છે કે ટૂલિંગમાં સુધારો થાય છે છતાં ભૂમિકા અદૃશ્ય થતી નથી.

શું AI ડેટા ગવર્નન્સ, ગોપનીયતા અને પાલનના કાર્યને સુરક્ષિત રીતે સંભાળી શકે છે?

AI નીતિઓનો મુસદ્દો તૈયાર કરવામાં અથવા અભિગમો સૂચવવામાં મદદ કરી શકે છે, પરંતુ સલામત અમલીકરણ હજુ પણ વાસ્તવિક ઇજનેરી અને કાળજીપૂર્વક દેખરેખની જરૂર છે. શાસનમાં ઍક્સેસ નિયંત્રણો, PII હેન્ડલિંગ, રીટેન્શન નિયમો, ઓડિટ ટ્રેલ્સ અને ક્યારેક રહેઠાણની મર્યાદાઓનો સમાવેશ થાય છે. આ ઉચ્ચ જોખમવાળા ક્ષેત્રો છે જ્યાં "લગભગ યોગ્ય" સ્વીકાર્ય નથી. માનવોએ નિયમો ડિઝાઇન કરવા, અમલીકરણ ચકાસવા અને પાલન પરિણામો માટે જવાબદાર રહેવું જોઈએ.

AI માં સુધારો થતાં ડેટા એન્જિનિયરો માટે કઈ કુશળતા મૂલ્યવાન રહે છે?

સિસ્ટમોને સ્થિતિસ્થાપક બનાવતી કુશળતા: સિસ્ટમ ડિઝાઇન વિચારસરણી, ડેટા ગુણવત્તા એન્જિનિયરિંગ અને પ્લેટફોર્મ-માઇન્ડેડ માનકીકરણ. જ્યારે વધુ લોકો ઝડપથી ડેટા આર્ટિફેક્ટ્સ જનરેટ કરી શકે છે ત્યારે કરારો, અવલોકનક્ષમતા, ઘટના પ્રતિભાવની આદતો અને શિસ્તબદ્ધ મૂળ કારણ વિશ્લેષણ વધુ મહત્વપૂર્ણ બની જાય છે. વાતચીત પણ એક ભેદક બની જાય છે - વ્યાખ્યાઓને સંરેખિત કરવી, સ્પષ્ટ દસ્તાવેજો લખવા અને નાટક વિના ટ્રેડઓફ સમજાવવા એ ડેટાને વિશ્વસનીય રાખવાનો એક મોટો ભાગ છે.

AI અને મેનેજ્ડ ટૂલિંગથી કયા ડેટા એન્જિનિયરિંગ ભૂમિકાઓ સૌથી વધુ જોખમમાં છે?

પુનરાવર્તિત ઇન્જેશન અથવા માનક રિપોર્ટિંગ પાઇપલાઇન્સ પર કેન્દ્રિત ભૂમિકાઓ વધુ ખુલ્લી હોય છે, ખાસ કરીને જ્યારે સંચાલિત ELT કનેક્ટર્સ મોટાભાગના સ્ત્રોતોને આવરી લે છે. ઓછી માલિકી, ટિકિટ-આધારિત કાર્ય સંકોચાઈ શકે છે કારણ કે AI અને એબ્સ્ટ્રેક્શન પાઇપલાઇન દીઠ પ્રયત્નો ઘટાડે છે. પરંતુ આ સામાન્ય રીતે ઓછા લોકો પુનરાવર્તિત કાર્યો કરે છે, "કોઈ ડેટા એન્જિનિયર નથી" એવું લાગે છે. વિશ્વસનીયતા, ગુણવત્તા અને વિશ્વાસ પર કેન્દ્રિત ઉચ્ચ માલિકીની ભૂમિકાઓ ટકાઉ રહે છે.

અંધાધૂંધી સર્જ્યા વિના હું GitHub Copilot અથવા dbt જેવા ટૂલ્સનો AI સાથે કેવી રીતે ઉપયોગ કરી શકું?

AI આઉટપુટને નિર્ણય નહીં, પણ ડ્રાફ્ટ તરીકે ગણો. તેનો ઉપયોગ ક્વેરી સ્કેલેટન જનરેટ કરવા, વાંચનક્ષમતા સુધારવા અથવા સ્કેફોલ્ડ dbt પરીક્ષણો અને દસ્તાવેજો બનાવવા માટે કરો, પછી વાસ્તવિક ડેટા અને એજ કેસ સામે માન્ય કરો. તેને મજબૂત પરંપરાઓ સાથે જોડો: કરારો, નામકરણ ધોરણો, અવલોકનક્ષમતા તપાસો અને સમીક્ષા પ્રથાઓ. ધ્યેય વિશ્વસનીયતા, ખર્ચ નિયંત્રણ અથવા શાસનને બલિદાન આપ્યા વિના ઝડપી ડિલિવરી છે.

સંદર્ભ

1. યુરોપિયન કમિશન - ડેટા સુરક્ષા સમજાવાયેલ: GDPR સિદ્ધાંતો - commission.europa.eu

2. માહિતી કમિશનર કાર્યાલય (ICO) - સંગ્રહ મર્યાદા - ico.org.uk

3. યુરોપિયન કમિશન - ડેટા કેટલો સમય રાખી શકાય છે અને શું તેને અપડેટ કરવું જરૂરી છે? - ​​commission.europa.eu

4. નેશનલ ઇન્સ્ટિટ્યૂટ ઓફ સ્ટાન્ડર્ડ્સ એન્ડ ટેકનોલોજી (NIST) - ગોપનીયતા માળખું - nist.gov

5. NIST કમ્પ્યુટર સિક્યુરિટી રિસોર્સ સેન્ટર (CSRC) - SP 800-92: કમ્પ્યુટર સિક્યુરિટી લોગ મેનેજમેન્ટ માટેની માર્ગદર્શિકા - csrc.nist.gov

6. સેન્ટર ફોર ઈન્ટરનેટ સિક્યુરિટી (CIS) - ઓડિટ લોગ મેનેજમેન્ટ (CIS કંટ્રોલ્સ) - cisecurity.org

7. સ્નોવફ્લેક દસ્તાવેજીકરણ - પંક્તિ ઍક્સેસ નીતિઓ - docs.snowflake.com

8. ગૂગલ ક્લાઉડ ડોક્યુમેન્ટેશન - બિગક્વેરીની પંક્તિ-સ્તરની સુરક્ષા - docs.cloud.google.com

9. BITOL - ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS) v3.1.0 - bitol-io.github.io

10. BITOL (GitHub) - ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ - github.com

11. અપાચે એરફ્લો - દસ્તાવેજીકરણ (સ્થિર) - airflow.apache.org

12. અપાચે એરફ્લો - DAGs (મુખ્ય ખ્યાલો) - airflow.apache.org

13. dbt લેબ્સ દસ્તાવેજીકરણ - dbt શું છે? - ​​docs.getdbt.com

14. dbt લેબ્સ દસ્તાવેજીકરણ - dbt મોડેલો વિશે - docs.getdbt.com

15. dbt લેબ્સ દસ્તાવેજીકરણ - દસ્તાવેજીકરણ - docs.getdbt.com

16. dbt લેબ્સ દસ્તાવેજીકરણ - ડેટા પરીક્ષણો - docs.getdbt.com

17. dbt લેબ્સ દસ્તાવેજીકરણ - dbt સિમેન્ટીક લેયર - docs.getdbt.com

18. ફાઇવટ્રાન દસ્તાવેજીકરણ - શરૂઆત કરવી - fivetran.com

19. ફાઇવટ્રાન - કનેક્ટર્સ - fivetran.com

20. AWS દસ્તાવેજીકરણ - AWS લેમ્બડા ડેવલપર માર્ગદર્શિકા - docs.aws.amazon.com

21. ગિટહબ - ગિટહબ કોપાયલટ - github.com

22. GitHub ડૉક્સ - GitHub Copilot સાથે તમારા IDE માં કોડ સૂચનો મેળવવું - docs.github.com

23. માઈક્રોસોફ્ટ લર્ન - SQL માટે GitHub કોપાયલટ (VS કોડ એક્સટેન્શન) - learn.microsoft.com

24. ડાયનાટ્રેસ દસ્તાવેજીકરણ - ડેટા અવલોકનક્ષમતા - docs.dynatrace.com

25. ડેટાગેલેક્સી - ડેટા અવલોકનક્ષમતા શું છે? - ​​datagalaxy.com

26. મહાન અપેક્ષાઓનું દસ્તાવેજીકરણ - અપેક્ષાઓનું વિહંગાવલોકન - docs.greatexpectations.io

અધિકૃત AI સહાયક સ્ટોર પર નવીનતમ AI શોધો

અમારા વિશે