શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?

શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?

ટૂંકો જવાબ: AI ડેટા એન્જિનિયરોને સંપૂર્ણપણે બદલી શકશે નહીં; તે SQL ડ્રાફ્ટિંગ, પાઇપલાઇન સ્કેફોલ્ડિંગ, પરીક્ષણો અને દસ્તાવેજીકરણ જેવા પુનરાવર્તિત કાર્યને સ્વચાલિત કરશે. જો તમારી ભૂમિકા મોટે ભાગે ઓછી માલિકી, ટિકિટ-આધારિત કાર્યની હોય, તો તે વધુ ખુલ્લી હોય છે; જો તમારી પાસે વિશ્વસનીયતા, વ્યાખ્યાઓ, શાસન અને ઘટના પ્રતિભાવ હોય, તો AI મુખ્યત્વે તમને ઝડપી બનાવે છે.

મુખ્ય બાબતો:

માલિકી : પરિણામો માટે જવાબદારીને પ્રાથમિકતા આપો, ફક્ત ઝડપથી કોડ બનાવવાને નહીં.

ગુણવત્તા : પરીક્ષણો, અવલોકનક્ષમતા અને કરારો બનાવો જેથી પાઇપલાઇન્સ વિશ્વસનીય રહે.

શાસન : ગોપનીયતા, ઍક્સેસ નિયંત્રણ, રીટેન્શન અને ઓડિટ ટ્રેલ્સ માનવ માલિકીના રાખો.

દુરુપયોગ પ્રતિકાર : AI આઉટપુટને ડ્રાફ્ટ તરીકે ગણો; આત્મવિશ્વાસપૂર્ણ ખોટીતાને ટાળવા માટે તેમની સમીક્ષા કરો.

ભૂમિકા પરિવર્તન : બોઈલરપ્લેટ ટાઇપ કરવામાં ઓછો સમય અને ટકાઉ સિસ્ટમ ડિઝાઇન કરવામાં વધુ સમય વિતાવો.

શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે? ઇન્ફોગ્રાફિક

જો તમે ડેટા ટીમોની આસપાસ પાંચ મિનિટથી વધુ સમય વિતાવ્યો હોય, તો તમે આ અવાજ સાંભળ્યો હશે - ક્યારેક બબડાટ, ક્યારેક મીટિંગમાં વાર્તાના વળાંકની જેમ શરૂ થતો: શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?

અને... મને સમજાયું. AI SQL જનરેટ કરી શકે છે, પાઇપલાઇન બનાવી શકે છે, સ્ટેક ટ્રેસ સમજાવી શકે છે, dbt મોડેલ્સ ડ્રાફ્ટ કરી શકે છે, અને વેરહાઉસ સ્કીમા પણ અનિશ્ચિત આત્મવિશ્વાસ સાથે સૂચવી શકે છે. SQL માટે GitHub Copilot dbt મોડેલ્સ વિશે GitHub Copilot
એવું લાગે છે કે ફોર્કલિફ્ટને જગલ કરતા શીખતા જોવું. પ્રભાવશાળી, થોડું ચિંતાજનક, અને તમને ખાતરી નથી કે તમારા કામ માટે તેનો શું અર્થ છે 😅

પરંતુ સત્ય હેડલાઇન કરતાં ઓછું વ્યવસ્થિત છે. AI ડેટા એન્જિનિયરિંગને સંપૂર્ણપણે બદલી રહ્યું છે. તે નીરસ, પુનરાવર્તિત ભાગોને સ્વચાલિત કરી રહ્યું છે. તે "મને ખબર છે કે હું શું ઇચ્છું છું પણ વાક્યરચના યાદ નથી" ક્ષણોને ઝડપી બનાવી રહ્યું છે. તે નવા પ્રકારની અરાજકતા પણ પેદા કરી રહ્યું છે.

તો ચાલો, હાથ લહેરાતા આશાવાદ કે વિનાશક ગભરાટ વિના, તેને યોગ્ય રીતે રજૂ કરીએ.

આ પછી તમને વાંચવા ગમશે તેવા લેખો:

🔗 શું AI રેડિયોલોજિસ્ટનું સ્થાન લેશે?
ઇમેજિંગ AI વર્કફ્લો, ચોકસાઈ અને ભાવિ ભૂમિકાઓને કેવી રીતે બદલી નાખે છે.

🔗 શું AI એકાઉન્ટન્ટ્સનું સ્થાન લેશે?
AI કયા એકાઉન્ટિંગ કાર્યોને સ્વચાલિત કરે છે અને કયા માનવ રહે છે તે જુઓ.

🔗 શું AI રોકાણ બેન્કરોનું સ્થાન લેશે?
સોદા, સંશોધન અને ક્લાયન્ટ સંબંધો પર AI ની અસર સમજો.

🔗 શું AI વીમા એજન્ટોનું સ્થાન લેશે?
AI કેવી રીતે અંડરરાઇટિંગ, વેચાણ અને ગ્રાહક સપોર્ટને પરિવર્તિત કરે છે તે જાણો.


"એઆઈ ડેટા એન્જિનિયર્સને બદલે છે" પ્રશ્ન કેમ વારંવાર ઉભરી રહ્યો છે 😬

ડર એક ચોક્કસ જગ્યાએથી આવે છે: ડેટા એન્જિનિયરિંગમાં પુનરાવર્તિત કાર્ય ઘણું છે .

  • SQL લેખન અને રિફેક્ટરિંગ

  • ઇન્જેશન સ્ક્રિપ્ટ્સ બનાવી રહ્યા છીએ

  • એક સ્કીમાથી બીજા સ્કીમામાં ફીલ્ડ્સનું મેપિંગ

  • પરીક્ષણો અને મૂળભૂત દસ્તાવેજો બનાવવા

  • પાઇપલાઇન નિષ્ફળતાઓનું ડીબગીંગ જે... એક પ્રકારની અનુમાનિત છે

પુનરાવર્તિત પેટર્નમાં AI અસામાન્ય રીતે સારું છે. અને ડેટા એન્જિનિયરિંગનો એક ભાગ બરાબર એ જ છે - પેટર્ન પર સ્ટેક્ડ પેટર્ન. GitHub કોપાયલટ કોડ સૂચનો

ઉપરાંત, ટૂલ્સ ઇકોસિસ્ટમ પહેલેથી જ જટિલતાને "છુપાવી" રહી છે:

તો જ્યારે AI દેખાય છે, ત્યારે તે છેલ્લા ભાગ જેવું લાગે છે. જો સ્ટેક પહેલાથી જ એબ્સ્ટ્રેક્ટેડ હોય, અને AI ગ્લુ કોડ લખી શકે... તો શું બાકી રહે છે? 🤷

પરંતુ અહીં એક વાત છે જે લોકો અવગણે છે: ડેટા એન્જિનિયરિંગ મુખ્યત્વે ટાઇપિંગ નથી . ટાઇપિંગ એ સરળ ભાગ છે. મુશ્કેલ ભાગ એ છે કે અસ્પષ્ટ, રાજકીય, બદલાતી વ્યવસાયિક વાસ્તવિકતાને વિશ્વસનીય સિસ્ટમની જેમ વર્તે.

અને AI હજુ પણ તે અંધારા સાથે સંઘર્ષ કરે છે. લોકો પણ સંઘર્ષ કરે છે - તેઓ ફક્ત વધુ સારી રીતે ઇમ્પ્રુવાઇઝ કરે છે.


ડેટા એન્જિનિયરો ખરેખર આખો દિવસ શું કરે છે (અનગ્લામર સત્ય) 🧱

ચાલો સ્પષ્ટ કહીએ - "ડેટા એન્જિનિયર" નોકરીનું શીર્ષક એવું લાગે છે કે તમે શુદ્ધ ગણિતનો ઉપયોગ કરીને રોકેટ એન્જિન બનાવી રહ્યા છો. વ્યવહારમાં, તમે વિશ્વાસ .

એક સામાન્ય દિવસ "નવા અલ્ગોરિધમ્સ શોધવા" ઓછો અને વધુ હોય છે:

  • ડેટા વ્યાખ્યાઓ વિશે અપસ્ટ્રીમ ટીમો સાથે વાટાઘાટો (પીડાદાયક પણ જરૂરી)

  • મેટ્રિક કેમ બદલાયું (અને તે વાસ્તવિક છે કે કેમ) તેની તપાસ કરવી

  • સ્કીમા ડ્રિફ્ટ અને "કોઈએ મધ્યરાત્રિએ કોલમ ઉમેર્યો" આશ્ચર્યને હેન્ડલ કરવું

  • ખાતરી કરવી કે પાઇપલાઇન્સ અક્ષમ, પુનઃપ્રાપ્ત કરી શકાય તેવી, અવલોકનક્ષમ છે

  • ડાઉનસ્ટ્રીમ વિશ્લેષકો આકસ્મિક રીતે વાહિયાત ડેશબોર્ડ ન બનાવે તે માટે ગાર્ડરેલ્સ બનાવવી

  • ખર્ચનું સંચાલન કરો જેથી તમારું વેરહાઉસ પૈસાની આગમાં ફેરવાઈ ન જાય 🔥

  • ઍક્સેસ, ઓડિટિંગ, પાલન, રીટેન્શન નીતિઓ સુરક્ષિત કરવી GDPR સિદ્ધાંતો (યુરોપિયન કમિશન) સ્ટોરેજ મર્યાદા (ICO)

  • ડેટા પ્રોડક્ટ્સ બનાવવી જેનો ઉપયોગ લોકો ખરેખર DM કર્યા વિના કરી શકે, 20 પ્રશ્નો

કામનો મોટો ભાગ સામાજિક અને કાર્યકારી છે:

  • "આ ટેબલ કોનું છે?"

  • "શું આ વ્યાખ્યા હજુ પણ માન્ય છે?"

  • "CRM ડુપ્લિકેટ નિકાસ કેમ કરી રહ્યું છે?"

  • "શું આપણે આ મેટ્રિક અધિકારીઓને શરમ વગર મોકલી શકીએ?" 😭

ચોક્કસ, AI આના કેટલાક ભાગોમાં મદદ કરી શકે છે. પરંતુ તેને સંપૂર્ણપણે બદલવું એ... એક મુશ્કેલી છે.


ડેટા એન્જિનિયરિંગ ભૂમિકાનું મજબૂત સંસ્કરણ શું બનાવે છે? ✅

આ વિભાગ મહત્વપૂર્ણ છે કારણ કે રિપ્લેસમેન્ટ ચર્ચા સામાન્ય રીતે ધારે છે કે ડેટા એન્જિનિયરો મુખ્યત્વે "પાઇપલાઇન બિલ્ડરો" છે. તે એવું માની લેવા જેવું છે કે રસોઈયા મુખ્યત્વે "શાકભાજી કાપે છે". તે કામનો એક ભાગ છે, પરંતુ તે કામ નથી.

ડેટા એન્જિનિયરના મજબૂત સંસ્કરણનો અર્થ સામાન્ય રીતે એ થાય છે કે તેઓ આમાંથી મોટા ભાગના કરી શકે છે:

  • પરિવર્તન માટે ડિઝાઇન
    ડેટા બદલાય છે. ટીમો બદલાય છે. સાધનો બદલાય છે. એક સારો ઇજનેર એવી સિસ્ટમ બનાવે છે જે વાસ્તવિકતા છીંક આવે ત્યારે દર વખતે તૂટી પડતી નથી 🤧

  • કરારો અને અપેક્ષાઓ વ્યાખ્યાયિત કરો
    "ગ્રાહક" નો અર્થ શું છે? "સક્રિય" નો અર્થ શું છે? જ્યારે કોઈ વિવાદ મોડા આવે છે ત્યારે શું થાય છે? ફેન્સી કોડ કરતાં કોન્ટ્રાક્ટ્સ અરાજકતાને વધુ અટકાવે છે. ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS) ODCS (GitHub)

  • દરેક વસ્તુમાં અવલોકનક્ષમતા બનાવો
    ફક્ત "શું તે ચાલ્યું" નહીં પણ "શું તે યોગ્ય રીતે ચાલ્યું." તાજગી, વોલ્યુમ વિસંગતતાઓ, શૂન્ય વિસ્ફોટો, વિતરણ શિફ્ટ. ડેટા અવલોકનક્ષમતા (ડાયનેટ્રેસ) ડેટા અવલોકનક્ષમતા શું છે?

  • પુખ્ત વયના લોકો માટે
    ગતિ વિરુદ્ધ ચોકસાઈ, કિંમત વિરુદ્ધ વિલંબતા, સુગમતા વિરુદ્ધ સરળતા જેવા સંબંધો બનાવો. કોઈ સંપૂર્ણ પાઇપલાઇન નથી હોતી, ફક્ત એવી પાઇપલાઇન્સ હોય છે જેની સાથે તમે જીવી શકો છો.

  • વ્યવસાયની જરૂરિયાતોને ટકાઉ સિસ્ટમમાં રૂપાંતરિત કરો
    લોકો મેટ્રિક્સ માંગે છે, પરંતુ તેમને જે જોઈએ છે તે ડેટા પ્રોડક્ટ છે. AI કોડ ડ્રાફ્ટ કરી શકે છે, પરંતુ તે જાદુઈ રીતે વ્યવસાયના લેન્ડમાઇન્સને જાણી શકતું નથી.

  • ડેટાને શાંત રાખો
    ડેટા પ્લેટફોર્મ માટે સૌથી મોટી પ્રશંસા એ છે કે કોઈ તેના વિશે વાત કરતું નથી. અણધાર્યો ડેટા સારો ડેટા છે. પ્લમ્બિંગની જેમ. જ્યારે તે નિષ્ફળ જાય છે ત્યારે જ તમને તે દેખાય છે 🚽

"શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?" પ્રશ્ન થોડો અસ્પષ્ટ લાગવા લાગે છે... AI કાર્યોને માલિકીનું નહીં .


જ્યાં AI પહેલાથી જ ડેટા એન્જિનિયરોને મદદ કરી રહ્યું છે (અને તે ખરેખર મહાન છે) 🤖✨

AI ફક્ત માર્કેટિંગ નથી. સારી રીતે ઉપયોગમાં લેવાથી, તે એક કાયદેસર બળ ગુણક છે.

૧) ઝડપી SQL અને રૂપાંતર કાર્ય

  • જટિલ જોડાણોનો ડ્રાફ્ટિંગ

  • વિન્ડો ફંક્શન લખવા જેના વિશે તમે વિચારવા માંગતા નથી

  • સાદા ભાષાના તર્કને ક્વેરી સ્કેલેટનમાં ફેરવવું

  • SQL માટે વાંચી શકાય તેવા CTEs GitHub Copilot માં કદરૂપી પ્રશ્નોનું રિફેક્ટરિંગ

આ ખૂબ મોટું છે કારણ કે તે "ખાલી પાનું" અસર ઘટાડે છે. તમારે હજુ પણ માન્ય કરવાની જરૂર છે, પરંતુ તમારે 0% ને બદલે 70% થી શરૂઆત કરવી પડશે.

૨) ડીબગીંગ અને રુટ કોઝ બ્રેડક્રમ્સ

AI આમાં યોગ્ય છે:

  • ભૂલ સંદેશાઓ સમજાવવા

  • ક્યાં જોવું તે સૂચવી રહ્યું છે

  • "ચેક સ્કીમા મિસમેચ" પ્રકારના પગલાંની ભલામણ GitHub Copilot
    એ એક અથાક જુનિયર એન્જિનિયર જેવું છે જે ક્યારેય ઊંઘતો નથી અને ક્યારેક આત્મવિશ્વાસથી જૂઠું બોલે છે 😅

૩) દસ્તાવેજીકરણ અને ડેટા કેટલોગ સંવર્ધન

આપમેળે જનરેટ થયેલ:

  • કૉલમ વર્ણનો

  • મોડેલ સારાંશ

  • વંશાવળીના ખુલાસા

  • "આ ટેબલ શેના માટે વપરાય છે?" ડ્રાફ્ટ્સ dbt દસ્તાવેજીકરણ

તે સંપૂર્ણ નથી, પરંતુ તે બિનદસ્તાવેજીકૃત પાઇપલાઇન્સના શાપને તોડે છે.

૪) સ્કેફોલ્ડિંગનું પરીક્ષણ અને તપાસ

AI પ્રસ્તાવિત કરી શકે છે:

ફરીથી - તમે હજુ પણ નક્કી કરો છો કે શું મહત્વનું છે, પરંતુ તે નિયમિત ભાગોને ઝડપી બનાવે છે.

૫) પાઇપલાઇન "ગુંદર" કોડ

રૂપરેખા ટેમ્પ્લેટ્સ, YAML સ્કેફોલ્ડ્સ, ઓર્કેસ્ટ્રેશન DAG ડ્રાફ્ટ્સ. તે વસ્તુઓ પુનરાવર્તિત છે અને AI નાસ્તામાં વારંવાર ખાય છે 🥣 અપાચે એરફ્લો DAGs


જ્યાં AI હજુ પણ સંઘર્ષ કરી રહ્યું છે (અને આ તેનો મુખ્ય ભાગ છે) 🧠🧩

આ તે ભાગ છે જે સૌથી મહત્વપૂર્ણ છે, કારણ કે તે વાસ્તવિક રચના સાથે રિપ્લેસમેન્ટ પ્રશ્નનો જવાબ આપે છે.

૧) અસ્પષ્ટતા અને બદલાતી વ્યાખ્યાઓ

વ્યાપારિક તર્ક ભાગ્યે જ સ્પષ્ટ હોય છે. લોકો વાક્યની વચ્ચે જ પોતાનો વિચાર બદલી નાખે છે. "સક્રિય વપરાશકર્તા" "સક્રિય ચુકવણી કરનાર વપરાશકર્તા" બની જાય છે "કેટલીક વાર સિવાય રિફંડ સિવાય સક્રિય ચુકવણી કરનાર વપરાશકર્તા"... તમે જાણો છો કે તે કેવી રીતે છે.

એઆઈ આ અસ્પષ્ટતાને સ્વીકારી શકતું નથી. તે ફક્ત અનુમાન કરી શકે છે.

૨) જવાબદારી અને જોખમ

જ્યારે પાઇપલાઇન તૂટી જાય અને એક્ઝિક્યુટિવ ડેશબોર્ડ બકવાસ બતાવે, ત્યારે કોઈએ:

  • ત્રિમાસિક ગાળા

  • અસર પહોંચાડો

  • તેને ઠીક કરો

  • પુનરાવર્તન અટકાવો

  • પોસ્ટમોર્ટમ લખો

  • નક્કી કરો કે શું વ્યવસાય હજુ પણ ગયા અઠવાડિયાના આંકડાઓ પર વિશ્વાસ કરી શકે છે

AI મદદ કરી શકે છે, પરંતુ તે અર્થપૂર્ણ રીતે જવાબદાર ન હોઈ શકે. સંસ્થાઓ વાઇબ્સ પર ચાલતી નથી - તે જવાબદારી પર ચાલે છે.

૩) સિસ્ટમ વિચારસરણી

ડેટા પ્લેટફોર્મ્સ ઇકોસિસ્ટમ છે: ઇન્જેશન, સ્ટોરેજ, ટ્રાન્સફોર્મેશન, ઓર્કેસ્ટ્રેશન, ગવર્નન્સ, કોસ્ટ કંટ્રોલ, SLA. એક સ્તરના રિપલ્સમાં ફેરફાર. અપાચે એરફ્લો ખ્યાલો

AI સ્થાનિક ઑપ્ટિમાઇઝેશનનો પ્રસ્તાવ મૂકી શકે છે જે વૈશ્વિક પીડા પેદા કરે છે. તે દરવાજાને દૂર કરીને ધ્રુજારીવાળા દરવાજાને ઠીક કરવા જેવું છે 😬

૪) સુરક્ષા, ગોપનીયતા, પાલન

આ તે જગ્યા છે જ્યાં રિપ્લેસમેન્ટની કલ્પનાઓ મરી જાય છે.

AI નીતિઓ ઘડી શકે છે, પરંતુ તેનો સુરક્ષિત રીતે અમલ કરવો એ વાસ્તવિક ઇજનેરી છે.

૫) "અજાણ્યા અજાણ્યા"

ડેટા ઘટનાઓ ઘણીવાર અણધારી હોય છે:

  • વિક્રેતા API શાંતિથી અર્થશાસ્ત્રમાં ફેરફાર કરે છે

  • સમય ઝોન ધારણા ઉલટી થાય છે

  • બેકફિલ પાર્ટીશનની નકલ કરે છે

  • પુનઃપ્રયાસ પદ્ધતિ ડબલ લખાણનું કારણ બને છે

  • નવી પ્રોડક્ટ સુવિધા નવા ઇવેન્ટ પેટર્ન રજૂ કરે છે

જ્યારે પરિસ્થિતિ જાણીતી પેટર્ન ન હોય ત્યારે AI નબળું પડે છે.


સરખામણી કોષ્ટક: વ્યવહારમાં શું શું ઘટાડે છે 🧾🤔

નીચે એક વ્યવહારુ દૃષ્ટિકોણ છે. "લોકો બદલતા સાધનો" નહીં, પરંતુ એવા સાધનો અને અભિગમો જે ચોક્કસ કાર્યોને સંકોચાય છે.

સાધન / અભિગમ પ્રેક્ષક ભાવનો માહોલ તે કેમ કામ કરે છે
AI કોડ કોપાયલોટ (SQL + પાયથોન હેલ્પર્સ) GitHub કોપાયલોટ ઘણા બધા કોડ લખતા ઇજનેરો ફ્રી-ઇશ ટુ પેઇડ સ્કેફોલ્ડિંગ, રિફેક્ટર્સ, સિન્ટેક્સમાં ઉત્તમ... ક્યારેક ખૂબ જ ચોક્કસ રીતે સમજદારીપૂર્વક
મેનેજ્ડ ELT કનેક્ટર્સ ફાઇવટ્રાન ટીમો ઇન્જેશન બનાવીને કંટાળી ગઈ છે સબ્સ્ક્રિપ્શન-વાય કસ્ટમ ઇન્જેશન પીડા દૂર કરે છે, પરંતુ નવી મજાની રીતોથી તૂટી જાય છે
ડેટા અવલોકનક્ષમતા પ્લેટફોર્મ્સ ડેટા અવલોકનક્ષમતા (ડાયનેટ્રેસ) SLA ધરાવતા કોઈપણ વ્યક્તિ મધ્યથી ઉદ્યોગ સુધી વહેલાસર ખામીઓ પકડી લે છે - જેમ કે પાઇપલાઇન માટે ધુમાડાના એલાર્મ 🔔
ટ્રાન્સફોર્મેશન ફ્રેમવર્ક (ઘોષણાત્મક મોડેલિંગ) dbt એનાલિટિક્સ + DE હાઇબ્રિડ્સ સામાન્ય રીતે ટૂલ + કમ્પ્યુટ લોજિક મોડ્યુલર અને પરીક્ષણયોગ્ય બનાવે છે, ઓછી સ્પાઘેટ્ટી
ડેટા કેટલોગ + સિમેન્ટીક લેયર્સ dbt સિમેન્ટીક લેયર મેટ્રિક મૂંઝવણ ધરાવતી સંસ્થાઓ વ્યવહારમાં, આધાર રાખે છે "સત્ય" ને એકવાર વ્યાખ્યાયિત કરે છે - અનંત મેટ્રિક ચર્ચાઓ ઘટાડે છે
ટેમ્પ્લેટ્સ સાથે ઓર્કેસ્ટ્રેશન અપાચે એરફ્લો પ્લેટફોર્મ-માઇન્ડેડ ટીમો ઓપન + ઑપ્સ ખર્ચ વર્કફ્લોને પ્રમાણિત કરે છે; ઓછા સ્નોવફ્લેક DAG
AI-સહાયિત દસ્તાવેજીકરણ dbt દસ્તાવેજ જનરેશન દસ્તાવેજો લખવાનું નફરત કરતી ટીમો સસ્તાથી મધ્યમ "પૂરતા સારા" દસ્તાવેજો બનાવે છે જેથી જ્ઞાન અદૃશ્ય ન થાય
ઓટોમેટેડ ગવર્નન્સ પોલિસીઝ NIST ગોપનીયતા ફ્રેમવર્ક નિયંત્રિત વાતાવરણ એન્ટરપ્રાઇઝ-વાય નિયમો લાગુ કરવામાં મદદ કરે છે - પરંતુ હજુ પણ નિયમો ડિઝાઇન કરવા માટે માણસોની જરૂર છે

શું ખૂટે છે તે જુઓ: એક પંક્તિ જે કહે છે કે "ડેટા એન્જિનિયર્સને દૂર કરવા માટે બટન દબાવો." હા... તે પંક્તિ અસ્તિત્વમાં નથી 🙃


તો... શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે, કે પછી ફક્ત ભૂમિકા બદલી નાખશે? 🛠️

અહીં બિન-નાટકીય જવાબ છે: AI કાર્યપ્રવાહના ભાગોને બદલશે, વ્યવસાયને નહીં.

પણ તે ભૂમિકાને ફરીથી ગોઠવશે. અને જો તમે તેને અવગણશો, તો તમને દબાણનો અનુભવ થશે .

શું બદલાય છે:

  • બોઈલરપ્લેટ લખવામાં ઓછો સમય

  • દસ્તાવેજો શોધવામાં ઓછો સમય

  • સમીક્ષા, માન્યતા, ડિઝાઇનિંગ માટે વધુ સમય

  • કોન્ટ્રાક્ટ્સ અને ગુણવત્તા અપેક્ષાઓને વ્યાખ્યાયિત કરવામાં વધુ સમય લાગશે ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS)

  • ઉત્પાદન, સુરક્ષા, નાણાકીય બાબતો સાથે વધુ સમય ભાગીદારી કરો

આ એક સૂક્ષ્મ પરિવર્તન છે: ડેટા એન્જિનિયરિંગ "પાઈપલાઈન બનાવવા" વિશે ઓછું અને "વિશ્વસનીય ડેટા પ્રોડક્ટ સિસ્ટમ બનાવવા" વિશે વધુ બને છે

અને શાંત વળાંકમાં, તે વધુ મૂલ્યવાન છે, ઓછું નહીં.

ઉપરાંત - અને હું આ કહેવા જઈ રહ્યો છું, ભલે તે નાટકીય લાગે - AI એવા લોકોની સંખ્યામાં વધારો કરે છે જેઓ ડેટા આર્ટિફેક્ટ્સ ઉત્પન્ન કરી શકે છે , જે સમગ્ર વસ્તુને સ્વસ્થ રાખવા માટે કોઈની જરૂરિયાત વધારે છે. વધુ આઉટપુટ એટલે વધુ સંભવિત મૂંઝવણ. GitHub Copilot

આ તો બધાને પાવર ડ્રીલ આપવા જેવું છે. સરસ! હવે કોઈને તો "કૃપા કરીને પાણીના પાઈપમાં ડ્રીલ ન કરો" નિયમ લાગુ કરવાની જરૂર છે 🪠


નવો કૌશલ્ય સ્ટેક જે મૂલ્યવાન રહે છે (બધે AI હોવા છતાં પણ) 🧠⚙️

જો તમને વ્યવહારુ "ભવિષ્ય-પ્રૂફ" ચેકલિસ્ટ જોઈતી હોય, તો તે આના જેવું દેખાય છે:

સિસ્ટમ ડિઝાઇન માનસિકતા

  • ડેટા મોડેલિંગ જે પરિવર્તનને ટકી રહે છે

  • બેચ વિરુદ્ધ સ્ટ્રીમિંગ ટ્રેડઓફ્સ

  • વિલંબ, કિંમત, વિશ્વસનીયતા વિશે વિચારસરણી

ડેટા ગુણવત્તા ઇજનેરી

શાસન અને ટ્રસ્ટ સ્થાપત્ય

પ્લેટફોર્મ વિચારસરણી

વાતચીત (હા, ખરેખર)

  • સ્પષ્ટ દસ્તાવેજો લખવા

  • વ્યાખ્યાઓનું સંરેખણ

  • નમ્રતાથી પણ મક્કમતાથી "ના" કહેવું

  • રોબોટ જેવો અવાજ કર્યા વિના ટ્રેડઓફ્સ સમજાવવું 🤖

જો તમે આ કરી શકો, તો "શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?" એ પ્રશ્ન ઓછો જોખમી બને છે. AI તમારું એક્સોસ્કેલેટન બને છે, તમારું રિપ્લેસમેન્ટ નહીં.


વાસ્તવિક દૃશ્યો જ્યાં કેટલીક ડેટા એન્જિનિયરિંગ ભૂમિકાઓ સંકોચાય છે 📉

ઠીક છે, ઝડપી વાસ્તવિકતા તપાસો, કારણ કે આ બધું સનશાઇન અને ઇમોજી કોન્ફેટી નથી 🎉

કેટલીક ભૂમિકાઓ વધુ ખુલ્લી છે:

  • શુદ્ધ ઇન્જેશન-માત્ર ભૂમિકાઓ જ્યાં બધું પ્રમાણભૂત કનેક્ટર્સ છે ફાઇવટ્રાન કનેક્ટર્સ

  • ટીમો ન્યૂનતમ ડોમેન સૂક્ષ્મતા સાથે મોટે ભાગે પુનરાવર્તિત રિપોર્ટિંગ પાઇપલાઇન્સ કરે છે

  • એવી સંસ્થાઓ જ્યાં ડેટા એન્જિનિયરિંગને "SQL વાંદરા" તરીકે ગણવામાં આવે છે (કઠોર, પણ સાચું)

  • ઓછી માલિકીની ભૂમિકાઓ જ્યાં નોકરી ફક્ત ટિકિટ અને કોપી-પેસ્ટ જેવી હોય છે

AI વત્તા મેનેજ્ડ ટૂલિંગ તે જરૂરિયાતોને ઘટાડી શકે છે.

પરંતુ ત્યાં પણ, રિપ્લેસમેન્ટ સામાન્ય રીતે આના જેવું દેખાય છે:

  • એક જ પુનરાવર્તિત કાર્ય કરતા ઓછા લોકો

  • પ્લેટફોર્મ માલિકી અને વિશ્વસનીયતા પર વધુ ભાર

  • "એક વ્યક્તિ વધુ પાઇપલાઇન્સને ટેકો આપી શકે છે" તરફનો ફેરફાર

તો હા - કર્મચારીઓની ગણતરીની પેટર્ન બદલાઈ શકે છે. ભૂમિકાઓ બદલાય છે. શીર્ષકો બદલાય છે. તે ભાગ વાસ્તવિક છે.

છતાં, ભૂમિકાનું ઉચ્ચ-માલિકી, ઉચ્ચ-વિશ્વાસ સંસ્કરણ ટકી રહે છે.


સમાપન સારાંશ 🧾✅

શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે? લોકોની કલ્પના મુજબ સ્વચ્છ અને સંપૂર્ણ રીતે નહીં.

AI કરશે:

પરંતુ ડેટા એન્જિનિયરિંગ મૂળભૂત રીતે આ વિશે છે:

AI તેમાં મદદ કરી શકે છે... પણ તે તેનું "માલિકી" ધરાવતું નથી.

જો તમે ડેટા એન્જિનિયર છો, તો આ પગલું સરળ છે (સરળ નથી, પણ સરળ છે):
માલિકી, ગુણવત્તા, પ્લેટફોર્મ વિચારસરણી અને સંદેશાવ્યવહાર પર ધ્યાન આપો. જ્યારે તમે મહત્વપૂર્ણ ભાગોને સંભાળો છો ત્યારે AI ને બોઈલરપ્લેટ સંભાળવા દો.

અને હા - ક્યારેક એનો અર્થ એ થાય કે રૂમમાં મોટા થઈ જવું. મોહક નહીં. છતાં શાંત અને શક્તિશાળી 😄

શું AI ડેટા એન્જિનિયર્સનું સ્થાન લેશે?
તે કેટલાક કાર્યોને બદલશે, સીડીમાં ફેરફાર કરશે અને શ્રેષ્ઠ ડેટા એન્જિનિયર્સને વધુ મૂલ્યવાન બનાવશે. આ જ વાસ્તવિક વાર્તા છે.


વારંવાર પૂછાતા પ્રશ્નો

શું AI ડેટા એન્જિનિયરોને સંપૂર્ણપણે બદલી નાખશે?

મોટાભાગની સંસ્થાઓમાં, AI ભૂમિકાને સંપૂર્ણપણે ભૂંસી નાખવા કરતાં ચોક્કસ કાર્યો સંભાળી લેવાની શક્યતા વધુ હોય છે. તે SQL ડ્રાફ્ટિંગ, પાઇપલાઇન સ્કેફોલ્ડિંગ, દસ્તાવેજીકરણ પ્રથમ પાસ અને મૂળભૂત પરીક્ષણ નિર્માણને વેગ આપી શકે છે. પરંતુ ડેટા એન્જિનિયરિંગમાં માલિકી અને જવાબદારી પણ હોય છે, ઉપરાંત અવ્યવસ્થિત વ્યવસાયિક વાસ્તવિકતાને વિશ્વસનીય સિસ્ટમની જેમ વર્તે તેવું અસ્પષ્ટ કાર્ય પણ હોય છે. તે ભાગોમાં હજુ પણ માનવીઓને "યોગ્ય" કેવું દેખાય છે તે નક્કી કરવાની અને જ્યારે વસ્તુઓ તૂટી જાય ત્યારે જવાબદારી લેવાની જરૂર છે.

ડેટા એન્જિનિયરિંગના કયા ભાગો AI પહેલાથી જ સ્વચાલિત થઈ રહ્યા છે?

પુનરાવર્તિત કાર્યમાં AI શ્રેષ્ઠ પ્રદર્શન કરે છે: SQL ડ્રાફ્ટિંગ અને રિફેક્ટરિંગ, dbt મોડેલ સ્કેલેટન જનરેટ કરવા, સામાન્ય ભૂલો સમજાવવા અને દસ્તાવેજીકરણ રૂપરેખાઓ ઉત્પન્ન કરવા. તે નલ અથવા વિશિષ્ટતા તપાસ જેવા સ્કેફોલ્ડ પરીક્ષણો પણ કરી શકે છે અને ઓર્કેસ્ટ્રેશન ટૂલ્સ માટે ટેમ્પલેટ "ગ્લુ" કોડ જનરેટ કરી શકે છે. જીત એ ગતિ છે - તમે કાર્યકારી ઉકેલની નજીક શરૂ કરો છો - પરંતુ તમારે હજુ પણ શુદ્ધતાને માન્ય કરવાની અને ખાતરી કરવાની જરૂર છે કે તે તમારા પર્યાવરણને અનુકૂળ છે.

જો AI SQL અને પાઇપલાઇન્સ લખી શકે છે, તો ડેટા એન્જિનિયરો માટે શું બાકી રહે છે?

ઘણું બધું: ડેટા કોન્ટ્રાક્ટ્સને વ્યાખ્યાયિત કરવું, સ્કીમા ડ્રિફ્ટને હેન્ડલ કરવું, અને પાઇપલાઇન્સ અયોગ્ય, અવલોકનક્ષમ અને પુનઃપ્રાપ્તિક્ષમ છે તેની ખાતરી કરવી. ડેટા એન્જિનિયરો મેટ્રિક ફેરફારોની તપાસ કરવામાં, ડાઉનસ્ટ્રીમ વપરાશકર્તાઓ માટે રેલિંગ બનાવવા અને ખર્ચ અને વિશ્વસનીયતા ટ્રેડઓફ્સનું સંચાલન કરવામાં સમય વિતાવે છે. કામ ઘણીવાર વિશ્વાસ બનાવવા અને ડેટા પ્લેટફોર્મને "શાંત" રાખવાનું હોય છે, જેનો અર્થ એ થાય કે કોઈને તેના વિશે રોજિંદા વિચારવાની જરૂર ન પડે.

ડેટા એન્જિનિયરના રોજિંદા કાર્યમાં AI કેવી રીતે ફેરફાર કરે છે?

તે સામાન્ય રીતે બોઈલરપ્લેટ અને "લુકઅપ સમય" ને ટ્રિમ કરે છે, તેથી તમે ટાઇપિંગમાં ઓછો સમય અને સમીક્ષા, માન્યતા અને ડિઝાઇનિંગમાં વધુ સમય વિતાવો છો. તે પરિવર્તન અપેક્ષાઓ, ગુણવત્તા ધોરણો અને ફરીથી વાપરી શકાય તેવા પેટર્નને વ્યાખ્યાયિત કરવા તરફ દોરી જાય છે, દરેક વસ્તુને હાથથી કોડિંગ કરવાને બદલે. વ્યવહારમાં, તમે ઉત્પાદન, સુરક્ષા અને નાણાકીય બાબતો સાથે વધુ ભાગીદારી કાર્ય કરશો - કારણ કે તકનીકી આઉટપુટ બનાવવાનું સરળ બને છે, પરંતુ તેનું સંચાલન કરવું મુશ્કેલ બને છે.

"સક્રિય વપરાશકર્તા" જેવી અસ્પષ્ટ વ્યવસાયિક વ્યાખ્યાઓ સાથે AI શા માટે સંઘર્ષ કરે છે?

કારણ કે વ્યવસાયિક તર્ક સ્થિર કે ચોક્કસ નથી - તે પ્રોજેક્ટની મધ્યમાં બદલાય છે અને હિસ્સેદાર દ્વારા બદલાય છે. AI અર્થઘટનનો મુસદ્દો તૈયાર કરી શકે છે, પરંતુ જ્યારે વ્યાખ્યાઓ વિકસિત થાય છે અથવા વિરોધાભાસ સપાટી પર આવે છે ત્યારે તે નિર્ણય લઈ શકતું નથી. ડેટા એન્જિનિયરિંગમાં ઘણીવાર વાટાઘાટો, ધારણાઓનું દસ્તાવેજીકરણ અને અસ્પષ્ટ જરૂરિયાતોને ટકાઉ કરારોમાં ફેરવવાની જરૂર પડે છે. તે "માનવ સંરેખણ" કાર્ય એક મુખ્ય કારણ છે કે ટૂલિંગમાં સુધારો થાય છે છતાં ભૂમિકા અદૃશ્ય થતી નથી.

શું AI ડેટા ગવર્નન્સ, ગોપનીયતા અને પાલનના કાર્યને સુરક્ષિત રીતે સંભાળી શકે છે?

AI નીતિઓનો મુસદ્દો તૈયાર કરવામાં અથવા અભિગમો સૂચવવામાં મદદ કરી શકે છે, પરંતુ સલામત અમલીકરણ હજુ પણ વાસ્તવિક ઇજનેરી અને કાળજીપૂર્વક દેખરેખની જરૂર છે. શાસનમાં ઍક્સેસ નિયંત્રણો, PII હેન્ડલિંગ, રીટેન્શન નિયમો, ઓડિટ ટ્રેલ્સ અને ક્યારેક રહેઠાણની મર્યાદાઓનો સમાવેશ થાય છે. આ ઉચ્ચ જોખમવાળા ક્ષેત્રો છે જ્યાં "લગભગ યોગ્ય" સ્વીકાર્ય નથી. માનવોએ નિયમો ડિઝાઇન કરવા, અમલીકરણ ચકાસવા અને પાલન પરિણામો માટે જવાબદાર રહેવું જોઈએ.

AI માં સુધારો થતાં ડેટા એન્જિનિયરો માટે કઈ કુશળતા મૂલ્યવાન રહે છે?

સિસ્ટમોને સ્થિતિસ્થાપક બનાવતી કુશળતા: સિસ્ટમ ડિઝાઇન વિચારસરણી, ડેટા ગુણવત્તા એન્જિનિયરિંગ અને પ્લેટફોર્મ-માઇન્ડેડ માનકીકરણ. જ્યારે વધુ લોકો ઝડપથી ડેટા આર્ટિફેક્ટ્સ જનરેટ કરી શકે છે ત્યારે કરારો, અવલોકનક્ષમતા, ઘટના પ્રતિભાવની આદતો અને શિસ્તબદ્ધ મૂળ કારણ વિશ્લેષણ વધુ મહત્વપૂર્ણ બની જાય છે. વાતચીત પણ એક ભેદક બની જાય છે - વ્યાખ્યાઓને સંરેખિત કરવી, સ્પષ્ટ દસ્તાવેજો લખવા અને નાટક વિના ટ્રેડઓફ સમજાવવા એ ડેટાને વિશ્વસનીય રાખવાનો એક મોટો ભાગ છે.

AI અને મેનેજ્ડ ટૂલિંગથી કયા ડેટા એન્જિનિયરિંગ ભૂમિકાઓ સૌથી વધુ જોખમમાં છે?

પુનરાવર્તિત ઇન્જેશન અથવા માનક રિપોર્ટિંગ પાઇપલાઇન્સ પર કેન્દ્રિત ભૂમિકાઓ વધુ ખુલ્લી હોય છે, ખાસ કરીને જ્યારે સંચાલિત ELT કનેક્ટર્સ મોટાભાગના સ્ત્રોતોને આવરી લે છે. ઓછી માલિકી, ટિકિટ-આધારિત કાર્ય સંકોચાઈ શકે છે કારણ કે AI અને એબ્સ્ટ્રેક્શન પાઇપલાઇન દીઠ પ્રયત્નો ઘટાડે છે. પરંતુ આ સામાન્ય રીતે ઓછા લોકો પુનરાવર્તિત કાર્યો કરે છે, "કોઈ ડેટા એન્જિનિયર નથી" એવું લાગે છે. વિશ્વસનીયતા, ગુણવત્તા અને વિશ્વાસ પર કેન્દ્રિત ઉચ્ચ માલિકીની ભૂમિકાઓ ટકાઉ રહે છે.

અંધાધૂંધી સર્જ્યા વિના હું GitHub Copilot અથવા dbt જેવા ટૂલ્સનો AI સાથે કેવી રીતે ઉપયોગ કરી શકું?

AI આઉટપુટને નિર્ણય નહીં, પણ ડ્રાફ્ટ તરીકે ગણો. તેનો ઉપયોગ ક્વેરી સ્કેલેટન જનરેટ કરવા, વાંચનક્ષમતા સુધારવા અથવા સ્કેફોલ્ડ dbt પરીક્ષણો અને દસ્તાવેજો બનાવવા માટે કરો, પછી વાસ્તવિક ડેટા અને એજ કેસ સામે માન્ય કરો. તેને મજબૂત પરંપરાઓ સાથે જોડો: કરારો, નામકરણ ધોરણો, અવલોકનક્ષમતા તપાસો અને સમીક્ષા પ્રથાઓ. ધ્યેય વિશ્વસનીયતા, ખર્ચ નિયંત્રણ અથવા શાસનને બલિદાન આપ્યા વિના ઝડપી ડિલિવરી છે.

સંદર્ભ

  1. યુરોપિયન કમિશન - ડેટા સુરક્ષા સમજાવાયેલ: GDPR સિદ્ધાંતો - commission.europa.eu

  2. માહિતી કમિશનર કાર્યાલય (ICO) - સંગ્રહ મર્યાદા - ico.org.uk

  3. યુરોપિયન કમિશન - ડેટા કેટલો સમય રાખી શકાય છે અને શું તેને અપડેટ કરવું જરૂરી છે? - ​​commission.europa.eu

  4. નેશનલ ઇન્સ્ટિટ્યૂટ ઓફ સ્ટાન્ડર્ડ્સ એન્ડ ટેકનોલોજી (NIST) - ગોપનીયતા માળખું - nist.gov

  5. NIST કમ્પ્યુટર સિક્યુરિટી રિસોર્સ સેન્ટર (CSRC) - SP 800-92: કમ્પ્યુટર સિક્યુરિટી લોગ મેનેજમેન્ટ માટેની માર્ગદર્શિકા - csrc.nist.gov

  6. સેન્ટર ફોર ઈન્ટરનેટ સિક્યુરિટી (CIS) - ઓડિટ લોગ મેનેજમેન્ટ (CIS કંટ્રોલ્સ) - cisecurity.org

  7. સ્નોવફ્લેક દસ્તાવેજીકરણ - પંક્તિ ઍક્સેસ નીતિઓ - docs.snowflake.com

  8. ગૂગલ ક્લાઉડ ડોક્યુમેન્ટેશન - બિગક્વેરીની પંક્તિ-સ્તરની સુરક્ષા - docs.cloud.google.com

  9. BITOL - ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - ઓપન ડેટા કોન્ટ્રેક્ટ સ્ટાન્ડર્ડ - github.com

  11. અપાચે એરફ્લો - દસ્તાવેજીકરણ (સ્થિર) - airflow.apache.org

  12. અપાચે એરફ્લો - DAGs (મુખ્ય ખ્યાલો) - airflow.apache.org

  13. dbt લેબ્સ દસ્તાવેજીકરણ - dbt શું છે? - ​​docs.getdbt.com

  14. dbt લેબ્સ દસ્તાવેજીકરણ - dbt મોડેલો વિશે - docs.getdbt.com

  15. dbt લેબ્સ દસ્તાવેજીકરણ - દસ્તાવેજીકરણ - docs.getdbt.com

  16. dbt લેબ્સ દસ્તાવેજીકરણ - ડેટા પરીક્ષણો - docs.getdbt.com

  17. dbt લેબ્સ દસ્તાવેજીકરણ - dbt સિમેન્ટીક લેયર - docs.getdbt.com

  18. ફાઇવટ્રાન દસ્તાવેજીકરણ - શરૂઆત કરવી - fivetran.com

  19. ફાઇવટ્રાન - કનેક્ટર્સ - fivetran.com

  20. AWS દસ્તાવેજીકરણ - AWS લેમ્બડા ડેવલપર માર્ગદર્શિકા - docs.aws.amazon.com

  21. ગિટહબ - ગિટહબ કોપાયલટ - github.com

  22. GitHub ડૉક્સ - GitHub Copilot સાથે તમારા IDE માં કોડ સૂચનો મેળવવું - docs.github.com

  23. માઈક્રોસોફ્ટ લર્ન - SQL માટે GitHub કોપાયલટ (VS કોડ એક્સટેન્શન) - learn.microsoft.com

  24. ડાયનાટ્રેસ દસ્તાવેજીકરણ - ડેટા અવલોકનક્ષમતા - docs.dynatrace.com

  25. ડેટાગેલેક્સી - ડેટા અવલોકનક્ષમતા શું છે? - ​​datagalaxy.com

  26. મહાન અપેક્ષાઓનું દસ્તાવેજીકરણ - અપેક્ષાઓનું વિહંગાવલોકન - docs.greatexpectations.io

અધિકૃત AI સહાયક સ્ટોર પર નવીનતમ AI શોધો

અમારા વિશે

બ્લોગ પર પાછા