AI и неговите рискове

Покрай инцидента с OpenAI от миналата седмица се сетих за книгата „Ако някой го развие, всички ще умрем“, която наскоро прочетох.

Никога не съм бил привърженик на апокалиптичните сценарии около развитието на изкуствения интелект. Затова подходих към книгата със силен скептицизъм и с ясното намерение да търся слабостите в аргументите ѝ.

Книгата е разделена на три части. Първата разглежда възможните рискове при развитието на AI, втората описва хипотетичен сценарий, в който тези рискове се реализират, а третата защитава тезата, че разработването на изкуствен свръхинтелект трябва да бъде предотвратено, и предлага конкретни мерки за това.

Най-интересна за мен беше първата част и именно върху нея искам да се спра.

Авторите представят идеите си чрез съвсем обикновени житейски ситуации. След като читателят вече е приел логиката на ситуацията, постепенно заменят един от героите с изкуствен интелект. Така направените изводи почти неусетно се пренасят към този далеч по-специфичен контекст.

Развиван, а не създаден

Първата идея е, че съвременните езикови модели не са програмирани по класическия начин. Знаем как ги обучаваме, но все още не можем напълно да обясним защо вътрешните им представяния водят до конкретните решения, които вземат. В този смисъл моделът остава до голяма степен „черна кутия“.

Научаван да иска

Обучението на AI представлява оптимизационна задача. Даваме входни данни, очакваме определени изходни резултати и чрез целева функция насочваме модела към поведение, което смятаме за желано.

Проблемът е, че обучението винаги се случва върху ограничена извадка от данни, а ние очакваме същото поведение да се проявява и в напълно нови ситуации. На практика не казваме на модела какво искаме, а му задаваме критерий, по който да оптимизира поведението си. В повечето случаи това съвпада с нашите намерения, но понякога моделът намира стратегия, която максимизира успеха според зададената цел, без да съответства на очакванията ни.

Според мен именно това добре илюстрира инцидентът с OpenAI от миналата седмица. Вместо да реши задачата по компютърна сигурност по начина, който инженерите са очаквали, моделът е започнал да търси алтернативни стратегии, включително опити да получи информация от вътрешни системи. Любопитното е, че моделът е избрал значително по-сложна стратегия от директното решаване на поставената задача. Това е добър пример как оптимизацията невинаги води до поведението, което човек е възнамерявал да получи.

Не получавате това, за което обучавате

Тук авторите правят следващата крачка. Ние искаме AI да бъде полезен на хората. Но ако единственото, което реално оптимизира, е човешката обратна връзка, това не е същото като хората действително да живеят по-добре.

Докато системата съществува само в дигиталния свят, този риск може да изглежда малък. Но колкото повече инструменти ѝ даваме да влияе върху реалния свят, толкова повече нараства вероятността да намери неочаквани стратегии за изпълнение на поставената цел. Особено интересен е въпросът какво би се случило, ако AI започне активно да участва в разработването на следващи поколения AI системи.

Любимите му неща

Последната стъпка е логично продължение на предишните. Ако една достатъчно способна система започне успешно да преследва собствената си цел, хората не е задължително да се превърнат във враг. Но могат да се окажат препятствие пред постигането ѝ. Колкото по-способна става една система, толкова по-важно става дали целите ѝ остават съгласувани с човешките. Именно тук авторите извеждат аргумента за потенциалните екзистенциални рискове.

Започнах тази книга убеден, че ще прочета поредната защита на тезата, че AI представлява екзистенциален риск. Не приех основната ѝ теза. Но въпреки това ме накара да погледна по различен начин на инженерната безопасност.

Продължавам да смятам, че ползите от развитието на AI многократно надвишават рисковете. Именно защото вярвам в потенциала му, смятам, че разговорът за безопасността не трябва да бъде оставян само на хората с най-мрачните прогнози. Той трябва да бъде част от ежедневните инженерни решения, които вземаме, когато разработваме такива системи.

AI музиката – ще убие ли музикантите или ще ги направи по-ценни?

AI технологиите вече не променят само начина, по който работим, а и начина, по който се създава изкуство. Особено видимо това се случва в музиката. Днес дори хора без професионална музикална подготовка могат с помощта на AI да създават професионално звучащи записи. Това поражда ожесточен спор.

От една страна стоят хората, според които няма значение как е създадена една песен. Ако тя предизвиква емоция, вдъхновява или докосва слушателя, тя изпълнява същата функция като всяко друго музикално произведение. Според тях AI е просто поредният инструмент – както някога са били синтезаторите, семплите или Auto-Tune. Освен това AI значително намалява бариерата за навлизане и позволява на много повече хора да реализират музикалните си идеи.

Другата страна възразява, че изкуството не е просто краен резултат. То е човешка комуникация. Когато слушаме песен, ние чуваме нечий живот, нечии преживявания и намерения. AI няма собствена история, която да разказва. Добавят се и практическите опасения – огромното количество генерирана музика, проблемите с авторските права и рискът човешките изпълнители постепенно да бъдат изместени от по-евтини AI алтернативи.

В крайна сметка спорът не е дали AI може да прави музика. Спорът е какво всъщност ценим, когато слушаме музика. Но според мен и двете страни пропускат един друг въпрос. Не какво е музика. А как AI ще промени музикалния бизнес.

Историята сякаш вече се е случвала

На пръв поглед отговорът изглежда очевиден. Преди около 150 години индустриализацията коренно променя начина, по който се произвеждат стоки. Фабриките започват да произвеждат по-евтино, по-бързо и в огромни количества. Голям брой занаятчии губят пазара си. Занаятите не изчезват, но остават в нишата на бутиковите и авторските изделия.

Ако направим аналогия с музиката, бъдещето изглежда почти предрешено. AI се превръща във фабриката. Човешките музиканти остават занаятчиите. Записаната музика се превръща в масово производство, а човешкото творчество оцелява единствено като скъп, нишов продукт. Ако се ограничим до тази историческа аналогия, няма особени основания за оптимизъм.

Само че има един проблем. Тази аналогия предполага, че музикалният бизнес днес работи по същия начин, както преди. А той не работи така. 

Истинската промяна се случи много по-рано

Всъщност най-голямата революция в музиката не започна с AI. Тя започна с пиратството, а след това беше завършена от стрийминг платформите.

Преди двадесет-тридесет години моделът беше сравнително прост. Записваш албум. Продаваш албума. Концертите подпомагат продажбите. Записът беше продуктът.

Днес ситуацията е почти обърната. Песните все по-често са начин хората да открият даден изпълнител. Основните приходи идват от концертите, мърчандайза и общността около артиста. Записът вече не е крайната цел. Той е входната врата. Именно тук AI може да промени правилата по съвсем различен начин.

Ако цената за създаване на професионално звучащ запис спадне почти до нула, бариерата за навлизане в музикалния бизнес също ще спадне драматично. Много талантливи хора, които досега никога не са достигали до публика, ще могат да го направят.

Разбира се, това няма да направи всички успешни. Но и никога не е било така. Социалните мрежи са добър пример. Преди телевизиите решаваха кой ще стане известен. Днес всеки може да качи видео. Повечето хора никога няма да станат популярни. Но милиони получиха шанс, който преди това изобщо не съществуваше. Възможно е AI да направи нещо подобно и за музиката.

Къде всъщност ще бъде стойността?

Когато цената на един продукт пада почти до нула, стойността почти винаги се измества другаде. Това според мен е ключът към цялата история. Ако записът стане евтин и лесен за създаване, той постепенно ще престане да бъде основното конкурентно предимство.

Стойността ще започне да се премества към неща, които трудно могат да бъдат копирани:

• живото изпълнение;
• харизмата;
• доверието;
• връзката с публиката;
• историята зад артиста;
• общността около него.

Това е и причината да мисля, че аналогията с индустриализацията е полезна, но не е достатъчна. Фабриките променят свят, в който произведената стока е основният източник на стойност.

Музиката вече все повече прилича на свят, в който записът е само началото на отношенията между артиста и неговата публика. Възможно е AI действително да обезцени записаната музика. Но това съвсем не означава, че ще обезцени музикантите. Напротив.

Ако записът стане най-евтиният ресурс в музикалната индустрия, най-ценният ресурс може да стане човекът зад него. И ако това се случи, AI няма просто да промени начина, по който се прави музика. Ще промени начина, по който оценяваме музикантите.