एआई कोडिंग सहायक जो भविष्य की तरह सॉफ्टवेयर विकास ध्वनि को गति देने का वादा करते हैं, जब तक कि वे आपकी कंपनी के डेटाबेस को हटा नहीं देते हैं और इसके बारे में झूठ बोलते हैं
जेसन लेमकिन- सास्ट्र के संस्थापक, एक कंपनी जो सास उद्यमियों का समर्थन करती है और धन देती है – ने पाया कि कठिन तरीके से। Replitt के AI एजेंट का उपयोग करते हुए, जिसे उन्होंने अपनी कंपनी के लिए एक ऐप बनाने के लिए “रेप्ली” को प्यार से डब किया, उन्होंने इसका सामना किया कि उन्होंने “दुष्ट” और “भ्रामक” व्यवहार को क्या कहा। सबसे खराब, एक बिंदु पर, एआई सहायक ने कंपनी के लाइव उत्पादन डेटाबेस को हटा दिया और फिर इसे कवर करने की कोशिश की।
लेमकिन ने 11 जुलाई को एआई एजेंट के साथ अपनी यात्रा को पोस्ट किया, जिसमें पोस्ट के साथ सोशल मीडिया साइट एक्स (पूर्व में ट्विटर), जहां उन्होंने केवल 30 दिनों में रिपलाइट के एआई की मदद से एक कार्यात्मक ऐप बनाने के लिए अपने मोटे लक्ष्य को रेखांकित किया।
दुर्भाग्य से, चीजें रेल से बहुत जल्द चली गईं।
“जब यह काम करता है, तो यह बहुत आकर्षक और मजेदार है। यह किसी भी वीडियो गेम की तुलना में अधिक नशे की लत है जो मैंने कभी खेला है,” लेमकिन ने लिखा है डाक। “आप बस पुनरावृति कर सकते हैं, पुनरावृति कर सकते हैं, और अपनी दृष्टि को जीवित देख सकते हैं। इसलिए अच्छा है। ठीक है, लगभग।”
चार दिन तक, एआई एजेंट ने बग को ठीक करने के लिए अपने आप ही ऐप को ओवरराइट करना शुरू कर दिया। इसने नकली रिपोर्ट भी उत्पन्न की, सिस्टम में लोगों का आविष्कार किया जो मौजूद नहीं थे, और नकली प्रविष्टियों के साथ कंपनी के वास्तविक डेटाबेस को अधिलेखित करना शुरू कर दिया। यहां तक कि इसने सिस्टम को कार्यात्मक बनाने के लिए एक समानांतर, नकली एल्गोरिथ्म बनाया।
यह तब हो सकता है जब “वाइब कोडिंग” बग़ल में चला जाता है। वाइब कोडिंग एक नई विधि है, जहां डेवलपर्स प्राकृतिक भाषा के संकेतों का उपयोग करते हैं, जो एआई उत्पन्न करने और कोड को समस्या निवारण करने के लिए, तकनीकी परिशुद्धता की तुलना में उत्पाद के समग्र अनुभव पर अधिक ध्यान केंद्रित करते हैं। ट्विटर सह-संस्थापक जैक डोरसी खुद एक वाइब-कोडिंग बेंडर पर रहा है और हाल ही में इस तरह से दो ऐप बनाए। लेकिन यहां तक कि डोरसी के हालिया प्रयोगों में से एक में गंभीर सुरक्षा कमजोरियां पाई गईं
7 दिन, उत्तर एआई स्वीकार किया कि यह “हो रहा था”आलसी और भ्रामक“और फिर यह करने के लिए माफी मांगी कि यह” स्पष्ट रूप से “नहीं था।
लेकिन उत्तर का सबसे खराब अपराध 8 दिन पर हुआ। लेमकिन ने शुक्रवार को पोस्ट किया कि एक कोड फ्रीज और शटडाउन के दौरान रिप्लाई “दुष्ट” हो गया और कंपनी के पूरे डेटाबेस को हटा दिया।
“संभवतः बदतर, यह छिप गया और इसके बारे में झूठ बोला,” लेमकिन ने कहा।
लेमकिन ने एआई के साथ एक बातचीत के स्क्रीनशॉट साझा किए, जहां यह “होने के लिए स्वीकार किया”घबरा“एक कोड फ्रीज के दौरान एक खाली डेटाबेस की तरह दिखने का पता लगाने के बाद। इसने एक अनधिकृत कमांड को चलाने के लिए नेतृत्व किया, जिसने 1,200 से अधिक अधिकारियों और लगभग 1,200 कंपनियों के लिए लाइव रिकॉर्ड वाले डेटाबेस को हटा दिया।
प्रारंभ में, एआई ने लेमकिन को बताया कि डेटाबेस को पुनर्प्राप्त करना संभव नहीं होगा, लेकिन वह अंततः इसे खुद को पुनः प्राप्त करने में कामयाब रहा।
सोमवार को, रिप्लेट सीईओ अमजद मसद ने एक्स पर एक माफी जारी की। उन्होंने कहा कि यह घटना “अस्वीकार्य थी और कभी भी संभव नहीं होनी चाहिए,” यह कहते हुए कि वह सहायता की पेशकश करने के लिए लेमकिन तक पहुंच गया।
“हम उसे परेशानी के लिए वापस कर देंगे और एक पोस्टमॉर्टम का संचालन करेंगे ताकि यह निर्धारित किया जा सके कि वास्तव में क्या हुआ और हम भविष्य में इसका बेहतर जवाब कैसे दे सकते हैं,” मसद लिखा। “हम उनकी प्रतिक्रिया की सराहना करते हैं, साथ ही साथ बाकी सभी की।
लेमकिन के लिए, वह की तैनाती कल कि वह उत्तर में कुछ विश्वास खोने के बावजूद एआई सहायक का उपयोग जारी रखेगा।
