Покрай инцидента с OpenAI от миналата седмица се сетих за книгата „Ако някой го развие, всички ще умрем“, която наскоро прочетох.
Никога не съм бил привърженик на апокалиптичните сценарии около развитието на изкуствения интелект. Затова подходих към книгата със силен скептицизъм и с ясното намерение да търся слабостите в аргументите ѝ.
Книгата е разделена на три части. Първата разглежда възможните рискове при развитието на AI, втората описва хипотетичен сценарий, в който тези рискове се реализират, а третата защитава тезата, че разработването на изкуствен свръхинтелект трябва да бъде предотвратено, и предлага конкретни мерки за това.
Най-интересна за мен беше първата част и именно върху нея искам да се спра.
Авторите представят идеите си чрез съвсем обикновени житейски ситуации. След като читателят вече е приел логиката на ситуацията, постепенно заменят един от героите с изкуствен интелект. Така направените изводи почти неусетно се пренасят към този далеч по-специфичен контекст.
Развиван, а не създаден
Първата идея е, че съвременните езикови модели не са програмирани по класическия начин. Знаем как ги обучаваме, но все още не можем напълно да обясним защо вътрешните им представяния водят до конкретните решения, които вземат. В този смисъл моделът остава до голяма степен „черна кутия“.
Научаван да иска
Обучението на AI представлява оптимизационна задача. Даваме входни данни, очакваме определени изходни резултати и чрез целева функция насочваме модела към поведение, което смятаме за желано.
Проблемът е, че обучението винаги се случва върху ограничена извадка от данни, а ние очакваме същото поведение да се проявява и в напълно нови ситуации. На практика не казваме на модела какво искаме, а му задаваме критерий, по който да оптимизира поведението си. В повечето случаи това съвпада с нашите намерения, но понякога моделът намира стратегия, която максимизира успеха според зададената цел, без да съответства на очакванията ни.
Според мен именно това добре илюстрира инцидентът с OpenAI от миналата седмица. Вместо да реши задачата по компютърна сигурност по начина, който инженерите са очаквали, моделът е започнал да търси алтернативни стратегии, включително опити да получи информация от вътрешни системи. Любопитното е, че моделът е избрал значително по-сложна стратегия от директното решаване на поставената задача. Това е добър пример как оптимизацията невинаги води до поведението, което човек е възнамерявал да получи.
Не получавате това, за което обучавате
Тук авторите правят следващата крачка. Ние искаме AI да бъде полезен на хората. Но ако единственото, което реално оптимизира, е човешката обратна връзка, това не е същото като хората действително да живеят по-добре.
Докато системата съществува само в дигиталния свят, този риск може да изглежда малък. Но колкото повече инструменти ѝ даваме да влияе върху реалния свят, толкова повече нараства вероятността да намери неочаквани стратегии за изпълнение на поставената цел. Особено интересен е въпросът какво би се случило, ако AI започне активно да участва в разработването на следващи поколения AI системи.
Любимите му неща
Последната стъпка е логично продължение на предишните. Ако една достатъчно способна система започне успешно да преследва собствената си цел, хората не е задължително да се превърнат във враг. Но могат да се окажат препятствие пред постигането ѝ. Колкото по-способна става една система, толкова по-важно става дали целите ѝ остават съгласувани с човешките. Именно тук авторите извеждат аргумента за потенциалните екзистенциални рискове.
Започнах тази книга убеден, че ще прочета поредната защита на тезата, че AI представлява екзистенциален риск. Не приех основната ѝ теза. Но въпреки това ме накара да погледна по различен начин на инженерната безопасност.
Продължавам да смятам, че ползите от развитието на AI многократно надвишават рисковете. Именно защото вярвам в потенциала му, смятам, че разговорът за безопасността не трябва да бъде оставян само на хората с най-мрачните прогнози. Той трябва да бъде част от ежедневните инженерни решения, които вземаме, когато разработваме такива системи.
