AI miało zrewolucjonizować pracę programistów, ale nowe raporty brutalnie weryfikują obietnice. Zamiast obiecanego wzrostu wydajności, narzędzia te często spowalniają pracę.
W skrócie:
- Raport Bain & Company stwierdza, że pomimo wczesnego wdrożenia generatywnej AI w programowaniu, oszczędności i wzrost produktywności okazały się “niezwykłe”.
- Badanie Model Evaluation & Threat Research wykazało, że programiści korzystający z narzędzi AI pracowali o 19% wolniej z powodu konieczności poprawiania halucynacji.
- Firma Apiiro zajmująca się bezpieczeństwem odkryła, że deweloperzy wspomagani przez AI generują dziesięciokrotnie więcej problemów z bezpieczeństwem kodu niż ich koledzy.
Branża AI złożyła wielkie obietnice. Miała dać programistom turbodoładowanie, pozwolić im generować potężne bloki kodu za pomocą prostych poleceń tekstowych i zrewolucjonizować cały cykl tworzenia oprogramowania. Problem w tym, że te obietnice – jak donosi The Register, powołując się na serię miażdżących raportów – wydają się być, delikatnie mówiąc, mocno przesadzone. Zamiast rewolucji mamy rozczarowanie, a zamiast oszczędności – nowe problemy.
W nowym raporcie firma doradcza Bain & Company stwierdza, że pomimo bycia “jednym z pierwszych obszarów, w których wdrożono generatywną AI”, programowanie nie odnotowało przełomu. Wręcz przeciwnie, “oszczędności okazały się nieznaczne”. To zimny prysznic dla tych, którzy zainwestowali miliardy dolarów, licząc na szybki zwrot. “Generatywna AI pojawiła się na scenie z niebotycznie wysokimi oczekiwaniami i wiele firm rzuciło się do projektów pilotażowych” – czytamy w raporcie. “Jednak wyniki nie sprostały szumowi”. To nie jest delikatna sugestia. To brutalna diagnoza.
Jak AI spowalnia programistów o 19%?
Zacznijmy od tego, że według Bain & Company “poziom adopcji narzędzi AI przez deweloperów jest niski”, nawet w firmach, które je wdrożyły. Co gorsza, pomimo że niektórzy asystenci kodowania wykazali “wzrost produktywności o dziesięć do piętnastu procent”, w większości przypadków oszczędności te “nie przekładają się na dodatnie zwroty”. Innymi słowy, inwestycja się nie spłaca.
To jednak dopiero początek. W lipcu organizacja non-profit Model Evaluation & Threat Research opublikowała badanie, które nie pozostawia złudzeń. “Co zaskakujące, odkryliśmy, że gdy deweloperzy używają narzędzi AI, zajmuje im to o 19 procent więcej czasu niż bez nich – AI sprawia, że są wolniejsi” – napisali badacze. Dlaczego? Odpowiedź jest prosta i frustrująca: halucynacje zmuszały programistów do poświęcania dodatkowego czasu na czyszczenie i weryfikację kodu. Modele miały też problemy ze zrozumieniem kontekstu w dużych i złożonych repozytoriach.
Potwierdza to ankieta przeprowadzona przez popularny serwis Stack Overflow. Zaufanie deweloperów do narzędzi AI gwałtownie spadło, pomimo że coraz więcej z nich ich używa. Wielu wskazuje na rozwiązania, które są “prawie dobre, ale nie do końca”. Ta subtelna różnica w praktyce oznacza godziny stracone na poprawkach.
Więcej kodu, więcej dziur. Kto za to zapłaci?
Jeśli myślisz, że wolniejsza praca to największy problem, jesteś w błędzie. Eksperci ostrzegają, że asystenci kodowania AI mogą wprowadzać poważne luki w bezpieczeństwie. W niedawnym raporcie firma Apiiro odkryła, że programiści korzystający z AI tworzą dziesięć razy więcej problemów z bezpieczeństwem niż ich koledzy, którzy nie korzystają z tej technologii. To już nie jest kwestia wydajności, ale fundamentalnego ryzyka dla firm i ich klientów.
Dochodzi do tego jeszcze jeden problem – brak ustandaryzowanego sposobu mierzenia wzrostu produktywności. To rażące niedopatrzenie, biorąc pod uwagę miliardy dolarów pompowane w rozwój AI. Analitycy coraz głośniej mówią o bańce spekulacyjnej, która jest coraz bliższa pęknięcia. Gdy obietnice zderzają się z twardymi danymi, entuzjazm szybko gaśnie.
Co dalej z rewolucją, której nie było?
Czy to koniec marzeń o AI w IT? Niekoniecznie. Bain & Company sugeruje, że prawdziwa wartość nie leży w samym kodowaniu, ale w zastosowaniu AI w całym cyklu życia oprogramowania – od planowania i projektowania, przez testowanie, aż po wdrożenie i utrzymanie. “Szeroka adopcja wymaga jednak zmian w procesach” – dodają konsultanci. “Jeśli AI przyspiesza kodowanie, to przegląd kodu, integracja i wydanie również muszą przyspieszyć, aby uniknąć wąskich gardeł”.
Na horyzoncie majaczą już “agencyczne AI”, zaprojektowane do autonomicznego wykonywania całych serii zadań. Może one zmienią sytuację. Na razie jednak branża musi zmierzyć się z niewygodną prawdą: technologia, która miała być rozwiązaniem, na razie sama stała się problemem. Hype wyprzedził rzeczywistość o kilka długości, a programiści zostali na pierwszej linii frontu z narzędziami, które częściej przeszkadzają, niż pomagają.