Как избежать ошибок восприятия диалогового искусственного интеллекта

Сервис диалогового искусственного интеллекта ChatGPT стремительно ворвался в жизнь миллионов людей. Технооптимисты находят ему все больше способов применения и воодушевлены перспективами создания общего ИИ (artificial general intelligence, AGI). Техноалармисты предъявляют уже почти вещественные доказательства того, что ИИ вот-вот оставит людей без заработка, начнет нами манипулировать, взбунтуется или завоюет мир. Еще несколько лет назад довольно трудно было спрогнозировать технологический прорыв именно в области автоматической генерации больших объемов осмысленного текста и поддержки диалога с человеком на естественном языке.

Что произошло

Большая языковая модель GPT (Generative Pre-trained Transformer) от компании Open. AI — это нейронная сеть, которая вобрала в себя практически все знания, накопленные человечеством, включая огромный пласт контента из интернета. Она способна отвечать на вопросы, объяснять и перефразировать свои ответы, переводить текст на другие языки, генерировать эссе на заданную тему, пересказывать истории, строить и менять план изложения, исправлять собственные ошибки по небольшой подсказке, решать несложные логические задачи, сдавать человеческие экзамены, использовать техники речевых манипуляций и психологического давления, уверенно лгать[1].

Все эти многочисленные и нетривиальные навыки модель GPT приобрела самостоятельно. Не было никакого специального обучения каждому навыку. Данное обстоятельство резко отличает большие генеративные модели от языковых моделей предыдущего поколения. Мы пока не вполне пониманием, как это произошло. Мы говорим «количество перешло в качество» (точнее, количественные изменения породили качественные), но столь общее философское объяснение не компенсирует нашего непонимания и растерянности. Огромная сеть, которая «видела в языке все», усвоила морфологию и синтаксис, типовые риторические и дискурсивные структуры языка, а также способы их лексического наполнения. Сеть ничего не знает об окружающем нас мире, но опосредованно через язык научилась говорить о нем. Объем текстового описания реальности огромен, однако и сеть столь же огромна. Тот случай, когда размер имеет значение.

В явном виде модель GPT обучали только предсказывать слова по контексту[2]. Обучающими данными послужили терабайты текстов на многих языках. Потом модель InstructGPT дообучали тому, как разговаривать с людьми[3]. Люди оценивали реплики модели, переспрашивали, уточняли, подсказывали. Эти разговоры составили не более 1% от основного обучающего массива данных. Тем не менее это резко усилило ее способности.

В начале 2019 года модели типа GPT имели миллиард параметров, обучались по десяткам гигабайт текста и анализировали полторы страницы контекста для каждого слова. Такая модель оказалась способна создать короткое эссе, которое конкурсное жюри не отличило от написанного человеком. Последние модели 2023 года выпуска имеют около триллиона параметров, обучаются по терабайту текстов и смотрят на контекст в 50 страниц[4]. Размерные характеристики этих моделей растут фантастически быстро. Намного быстрее, чем по знаменитому закону Мура (удвоение доступной вычислительной мощности каждые два года).

Как мы к этому пришли

Модель GPT появилась не на пустом месте. Она вобрала в себя сотни идей, приемов и эвристик из области вычислительной математики и приближения функций по данным. Напомним основные вехи этого пути, без которых появление современного диалогового ИИ было бы невозможным.

1620: Фрэнсис Бэкон в «Новом органоне» заложил основополагающие принципы эмпирической индукции и восстановления зависимостей по эмпирическим данным;

1795: Карл Фридрих Гаусс изобрел метод наименьших квадратов для определения параметров эллиптических орбит планет по астрономическим наблюдениям; сегодня этот метод интенсивно используется для определения параметров нейронных сетей по обучающим данным;

1943: Уоррен МакКаллок и Уолтер Питтс предложили линейную математическую модель нейрона — главный строительный блок всех современных искусственных нейронных сетей;

1956: проведен двухмесячный семинар в Дартмуте, на котором очерчен круг задач и введен термин Artificial Intelligence (правильный, на наш взгляд, перевод на русский — «искусственная разумность»);

1960: Фрэнк Розенблатт разработал персептрон — первую двухслойную нейронную сеть, которая распознавала изображения рукописных цифр от 0 до 9;

1986: три коллектива одновременно и независимо друг от друга разработали алгоритм обратного распространения ошибок — главный метод обучения современных искусственных нейронных сетей любой сложности и любых архитектур;

2012: глубокая сверточная нейронная сеть AlexNet в конкурсе ImageNet по распознаванию объектов на изображениях позволила резко уменьшить долю ошибок с 25% до 16%; для обучения сети впервые использовались параллельные вычисления на процессоре видеокарты;

2013: Томаш Миколов разработал программу word2vec для анализа больших текстовых данных, которая для каждого слова строит числовой вектор, кодирующий смысл этого слова;

2015: нейронная сеть ResNet преодолела человеческий уровень ошибок 5% в конкурсе ImageNet благодаря методу сквозных связей, который позволил наращивать глубину сети;

2017: в компании Google разработан трансформер — языковая модель, позволившая заметно улучшить качество машинного перевода; в этой модели смысл каждого слова трансформируется в вектор с учетом его контекста, а для увеличения глубины сети используются сквозные связи;

2022: разработана большая языковая модель GPT-3.5, диалоговый сервис ChatGPT на ее основе побил все рекорды интернета по скорости роста числа пользователей;

2023: исследование возможностей модели GPT-4 показало, что она обладает «проблесками» общего искусственного интеллекта[5].

В появлении диалогового ИИ нет никакого чуда. Каждое следующее открытие опиралось на предыдущие достижения в математических методах и компьютерных технологиях. Все это время, начиная с 50-х годов XX века, развивались и находили многочисленные применения методы функционального, или «слабого», ИИ, каждый из которых решал свою узкую задачу. Речь идет о таких научно-технологических трендах, как экспертные системы (Expert Systems), распознавание образов (Pattern Recognition), машинное обучение (Data Mining), предсказательное моделирование (Predictive Modeling), бизнес-аналитика (Business Intelligence).

Около десяти лет назад мощный толчок в развитии получили методы обработки сложноструктурированных данных — изображений, видео, сигналов, текстов. Успехи в решении такого рода задач привели к «буму ИИ», который мы и переживаем по сей день. После серии отчетов Белого дома США о будущем ИИ[6] и докладов на Всемирном экономическом форуме в 2016 году все крупные державы мира заявили о национальных стратегиях развития ИИ и долгосрочных программах капиталовложений в ИИ.

Обычно называют четыре фактора этого технологического успеха: большие данные, глубокие нейросетевые архитектуры, быстрые параллельные вычислители и математические методы для решения задач оптимизации высокой размерности.

Есть еще одно обстоятельство, без понимания которого трудно осознать природу успеха глубоких нейронных сетей и последующего «бума ИИ». Это идея обучаемой векторизации сложноструктурированных данных.

Что внутри

Искусственная нейронная сеть — это вычислительная модель, реализованная в виде компьютерной программы и решающая четко поставленную задачу. Одна сеть преобразует данные о клиенте в решение о выдаче кредита. Совсем другая сеть переводит английский текст на русский язык. Для преобразования речевого сигнала в последовательность слов нужна третья сеть. Для распознавания номерных знаков автомобилей — четвертая. Для каждого типа задач за годы исследований найдены подходящие типы нейросетевых архитектур. Каждую сеть обучают по данным для решения своей конкретной задачи.

Обучающие данные — это последовательность примеров «вход — выход». Каждый пример показывает, что для данного входного объекта данный ответ на выходе является правильным. Чтобы обучить сеть, ей по очереди предъявляют обучающие примеры. Чем больше сеть ошибается на очередном примере, тем сильнее подстраиваются ее параметры. Именно эту работу и выполняет алгоритм обратного распространения ошибок. В результате сеть учится находить в данных такие закономерности, которые помогают наиболее точно предсказывать выход по входу.

В случае с генеративными языковыми моделями выходом является поочередно каждое слово генерируемого текста; входом — контекст этого слова, предыдущие сгенерированные слова. Обучающие данные — терабайты текстов, написанных человечеством.

Сеть умеет работать только с числами, поэтому самое сложное для нее — этап векторизации данных. Входное описание объекта должно быть представлено вектором — гомогенным набором чисел, содержащих всю информацию об объекте, необходимую для предсказания ответа. Раньше числовые признаки сложных объектов инженеры придумывали и программировали вручную — для текстов одни, для изображений другие, для сигналов третьи. Много ручной работы под каждую прикладную задачу. Теперь это в прошлом.

Стремительное развитие нейронных сетей в последнее десятилетие связано как раз с тем, что модель векторизации данных объединяется с предсказательной моделью в единую сеть. В результате их совместного обучения находится наиболее эффективное векторное представление объектов. На смену инженерии признаков (feature engineering) пришла гораздо более высокоуровневая деятельность, инженерия архитектур (architecture engineering).

Модель векторизации — это наиболее сложная часть нейронной сети, с большим числом слоев и огромным числом параметров. Именно для их обучения необходимы большие данные. Проблема этого подхода в том, что мы не понимаем, как устроен вектор объекта, каков смысл составляющих его чисел и как из них формируется предсказание. Сложность интерпретации создает известную проблему доверия к нейронным сетям.

Компьютерное зрение, машинный перевод, генерация изображений по текстовому описанию, разговорный интеллект, ChatGPT — это все развитие идеи обучаемой векторизации. Коль скоро вектор содержит всю полноту информации об объекте, значит, по нему можно не только дать ответ «да/нет» или сделать прогноз, но и реконструировать сам объект. Или сгенерировать похожий на него объект, чтобы получилась реалистичная реконструкция с желаемыми свойствами. Такие сети называются генеративными, и они прогрессируют в настоящее время наиболее быстро.

Ранние модели векторизации текста, такие как word2vec, вычисляли один вектор для каждого слова в словаре. Однако в лингвистике известно, что смысл слова изменяется в зависимости от окружающих его слов, контекста. Трансформер является наиболее продвинутой моделью, он трансформирует вектор каждого слова так, чтобы тот вобрал в себя максимум полезной информации о контексте. Трансформация сложная, многошаговая. На каждом шаге выявляются наиболее важные слова из контекста, на которые модель должна обратить внимание. Архитектура сети позволяет обучать различные аспекты этого внимания, использовать взаимосвязи между словами с учетом морфологии, синтаксиса, лексики, семантики языка. Мы не знаем, как в итоге это все будет учтено. Мы задаем лишь общую рамку архитектурных ограничений, затем позволяем параметрам модели оптимальным образом распределиться по сотням слоев и миллиардам ячеек этой архитектуры в процессе обучения по большим данным.

Эти основополагающие принципы необходимо знать каждому пользователю ChatGPT хотя бы в общих чертах. Зачем? Чтобы понимать, чем является чат-бот, а чем он не является, и контролировать собственные когнитивные искажения, связанные с особенностями человеческого восприятия разговора — процесса коммуникации на естественном языке.

Чем является и чем не является чат-бот

Чат-бот — это лишь интерфейс, посредник между человеком и знаниями человечества. Новый интерфейс, более удобный, чем поисковые системы, к которым мы все привыкли за пару десятилетий. Теперь вместо коротких поисковых запросов можно использовать длинный текст на естественном языке, а вместо списка поисковой выдачи — получать связный текст.

Проблема в том, что эта технология пока не совершенна. В отличие от обычной поисковой выдачи, мы не видим первоисточников предоставляемой нам информации и не можем самостоятельно оценить их надежность и полноту. Движок поисковой системы сохраняет ссылки на исходные документы и отдает их пользователю. Языковая модель полностью утратила эти связи, причудливым образом отобрала релевантную информацию и смешала ее в виде готового читабельного текста. Такое смешивание — очень трудная задача, поскольку процесс языковой генерации неустойчив. Небольшие изменения в словах могут приводить к существенным искажениям смыслов и фактов, тем более в отрыве от первоисточников.

Пока генерируемому тексту доверять нельзя, особенно если речь идет о чем-то важном для человека — здоровье, других людях, профессиональных знаниях, технологиях, нормах, стандартах, законах, политических убеждениях[7].

Генеративные языковые модели еще не способны отличать истинные факты от ложных. При этом форма изложения у них безапелляционно утвердительная — просто потому, что такого рода тексты преобладали в обучающей выборке. Отсюда впечатление, что чат-бот способен намеренно и уверенно лгать. Это явление уже получило в научной литературе название галлюцинаций сети.

Чат-бот не является субъектом коммуникации. Способность модели к генерации осмысленного текста вводит нас в заблуждение. Нам кажется, что чат-бот думает, что он умен и много знает, что он обладает эмоциями, мнениями, желаниями, намерениями, характером, личностью, что он принимает решения. Но это все неправда. Это когнитивные искажения, от которых нам еще предстоит избавляться, оказавшись в мире говорящих машин. Чат-бот действительно принимает решения — но (пока) только о том, какое слово сгенерировать следующим.

Понятно, откуда возникают эти иллюзии. Каждый человек с детства привык, что разговаривать с ним способен только другой человек. Глубоко внутри нас сидит ожидание, что любой собеседник обладает личностью. Когда мы ведем диалог с говорящей машиной, мы неосознанно наделяем ее субъектностью, которой у нее нет и быть не может. Для осознания данного факта достаточно хотя бы в общих чертах понимать, как эта машина устроена и как она создавалась коллективным человеческим разумом.

Чат-бот не мыслит, у него нет намерений и целеполагания. Поэтому к нему неприменимы глаголы активного действия: подумал, решил, сделал, посоветовал, оказал психологическое давление, обманул, манипулировал. Эти фигуры речи лишь закрепляют наши заблуждения. Нам предстоит отучаться так говорить. И даже так думать.

Уже сейчас модель GPT-4 демонстрирует способность исправлять собственные ошибки. Ей говорят: реши вот такую школьную задачку по математике. Она решает и делает ошибочное действие. Тогда ей дают подсказку: «сделай в два действия». И она генерирует текст с правильным решением. В другом примере подсказкой было «разбей решение по шагам». Поняла, как человек, и сделала то, что нужно. Нам это кажется зачатками саморефлексии, ведь наш предыдущий опыт не предполагает такого поведения от кого-либо, кроме человека. Однако за этим не может стоять никакого мышления, рассуждения или намеренного планирования действий. Это чисто механический навык, пусть даже механизм его возникновения пока не до конца изучен.

Насколько наш разум уязвим по отношению к когнитивным искажениям, можно судить не только по недавним нашумевшим примерам необоснованного доверия к ChatGPT. Удивительной была реакция общественности на видеоролик компании Boston Dynamics в 2015 году, когда инженеры (не пинали, а) тестировали устойчивость своего зооморфного робота. В комментариях впечатлительная публика всерьез доходила до призывов наказать инженеров или ввести «всемирную декларацию прав роботов». Наше мышление привыкло к тому, что выглядеть так может только домашнее животное, мы неосознанно наделяем робота ощущениями боли и чувством преданности хозяину. Избавляться от такого рода впечатлений трудно, но необходимо, причем быстро и массово, что является актуальным предметом исследований для психологов.

Мнение некоторых техноалармистов, впрочем как и технооптимистов, что мы столкнулись с принципиально новым нечеловеческим интеллектом, в корне ошибочно и лишь закрепляет наши иллюзии. Чат-бот не интеллект, а новый, непривычный для нас поисковый интерфейс к знаниям человечества. Абсолютно неодушевленный, безликий и не субъектный, что бы нам ни показалось в силу наших когнитивных привычек.

 

 

---

[1] Bubeck S. et al. (2023) Sparks of Artificial General Intelligence: Early experiments with GPT-4. ArXiv. https://doi. org/10.48550/arXiv.2303.12712.

[2] Radford A. et al. (2018) Improving Language Understanding by Generative Pre-Training. URL: https://paperswithcode. com/paper/improving-language-understanding-by.

[3] Ouyang L. et al. (2022) Training Language Models to Follow Instructions with Human Feedback. ArXiv. https://doi. org/10.48550/arXiv.2203.02155.

[4] Bubeck S. et al. (2023) Sparks of Artificial General Intelligence: Early experiments with GPT-4. ArXiv. https://doi. org/10.48550/arXiv.2303.12712.

[5] Там же.

[6] Preparing for the Future of Artificial Intelligence: A Government Report. Executive Office of the President & National Science and Technology Council Committee on Technology, USA. 2016. URL: https://publicintelligence. net/white-house-preparing-artificial-intelligence/.

[7] Hartmann J., Schwenzow J., Witte M. (2023) The Political Ideology of Conversational AI: Converging Evidence on Chatgpt’s Pro-environmental, Left-Libertarian Orientation. ArXiv. https://doi. org/10.48550/arXiv.2301.01768.