Изследване на OpenAI: Изкуственият интелект не може да замени програмистите

Наскоро публикувано изследване от OpenAI (да, фирмата, която прави ChatGPT) поставя под въпрос популярните твърдения за превъзходство на изкуствения интелект над човешките програмисти. Според статия, публикувана във Futurism на 23 февруари 2025 г., дори най-модерните големи езикови модели не успяват да се справят с повечето реални задачи свързани с програмиране. Това откритие идва в момент, когато много технологични компании инвестират значителни средства в ИИ решения, смятайки ги за бъдещето на софтуерното разработване.

Тестовата методология: SWE-Lancer

За да оценят способностите на водещите ИИ модели, изследователите от OpenAI разработиха специализиран бенчмарк, наречен SWE-Lancer. Този инструмент включва над 1400 реални задачи по софтуерно инженерство, извлечени от платформата за фрийланс Upwork. Задачите включват отстраняване на грешки, написване на нов код, внедряване на корекции и т.н.

В изследването са тествани три водещи модела:

• o1 (OpenAI)
• GPT-4o (OpenAI)
• Claude 3.5 Sonnet (Anthropic)

Изненадващи резултати

Изследването разкрива изненадваща картина – дори най-добрите ИИ модели се представят значително под очакванията, когато са изправени пред реални задачи свързани с програмиране. Ето ключовите констатации:

1. Ниска успеваемост при решаване на задачи

Claude 3.5 Sonnet се представя най-добре от тестваните модели, но въпреки това не успява да реши успешно по-голямата част от поставените задачи. Моделите o1 и GPT-4o показват още по-слаби резултати. Това подсказва, че дори най-напредналите ИИ системи са далеч от възможностите на опитните програмисти.

2. Компромис между скорост и точност

Тестваните модели демонстрират впечатляваща скорост на работа, изпълнявайки задачи “много по-бързо от човек”. Това предимство обаче идва с цената на качеството – решенията често са неверни или недостатъчно обмислени, което ги прави неприложими в реални проекти.

3. Затруднения с контекстуалното разбиране

ИИ моделите срещат сериозни трудности при разбирането на по-сложните аспекти на софтуерното инженерство – например взаимовръзките между различни части на кода или значението на даден бъг в по-широкия контекст на проекта. Тази липса на задълбочено разбиране води до повърхностни решения, които не адресират същността на проблемите.

4. Икономически аспект

Интересен детайл от изследването е, че Claude 3.5 Sonnet “спечелва повече пари” в симулираните задачи в сравнение с конкурентите си. Това предполага, че въпреки недостатъците, моделът може да е по-ефективен в определени сценарии. Въпреки това, дори този модел не достига нивото на надеждност, необходимо за реални приложения.

Прогнозите на лидерите в IT бизнеса са доста нереални

Резултатите от изследването влизат в явно противоречие с множество оптимистични прогнози от индустриални лидери. Например, Сам Алтман, главен изпълнителен директор на OpenAI, заяви, че до края на 2025 г. ИИ ще надмине “нискоквалифицираните” софтуерни инженери. Новото изследване обаче показва, че дори най-напредналите модели са далеч от подобно ниво на компетентност.

Въпреки тези данни, някои компании вече заменят човешки програмисти с ИИ решения – ход, който според изследователите може да се окаже преждевременен и рискован. Това е все едно да замените хирурга си с човек, който е гледал всички сезони на “Анатомията на Грей” и смята, че вече може да извършва мозъчна операция.

Дори, ако предположим, че ИИ да могат да заменят неопитните програмисти, фирмите, които спират да наемат “новобранци” могат да се окажат в много лошо положение, след няколко години, когато част от опитните им служители се пенсионират и няма кой да заеме мястото им.

Защо ИИ се затруднява с програмирането?

Проблемът не се корени само в количеството данни или изчислителната мощност на моделите. По-скоро става въпрос за фундаментални ограничения в самия начин, по който функционират големите езикови модели. Те са отлични в генерирането на текст или код въз основа на шаблони, но им липсва истинско разбиране на логиката и контекста – качества, които са в основата на човешкото програмиране.

Когато се сблъскат с бъг например, ИИ моделите често предлагат повърхностни корекции, без да анализират по-дълбоките причини за проблема. Това поставя въпроса дали простото увеличаване на размера на моделите или обучаващите данни ще реши проблема, или е необходим качествено нов подход към ИИ, за да се постигне истинска автономност в кодирането.

Изводи за бъдещето

Изследването на OpenAI служи като предупреждение и призив за реализъм в оценката на възможностите на ИИ. Въпреки бързия напредък на технологиите, те все още не са готови да поемат сложните и нюансирани задачи, които човешките инженери изпълняват ежедневно.

Вместо да се разглежда като заместител на програмистите, ИИ следва да се възприема като допълващ инструмент – подобно на разширеното автодопълване в редакторите на код. Той може да ускори рутинни процеси и да подпомогне работата на инженерите, но не и да ги замени напълно.

Бъдещето вероятно ще включва по-тясно сътрудничество между хора и машини, където ИИ ускорява процесите и се справя с рутинни задачи, докато човешката интуиция, креативност и дълбоко разбиране остават водещи при решаването на сложни проблеми. За момента програмистите могат да бъдат спокойни – тяхната професионална експертиза остава незаменима в близко бъдеще.

А за всички тези шефове и инвеститори, които вече бяха започнали да планират как ще харчат парите от уволнените програмисти – съжалявам за лошата новина. Изглежда, че ще трябва да продължите да плащате на тези досадни хора, които разбират от алгоритми, структури от данни и имат странната способност да решават реални проблеми.