Проводите достаточно времени с ChatGPT и другими чат-ботами с искусственным интеллектом, и им не потребуется много времени, чтобы извергнуть ложь.
Описываемый как галлюцинация, конфабуляция или просто выдумка, в настоящее время это проблема для каждого бизнеса, организации и старшеклассника, пытающегося получить генеративную систему искусственного интеллекта для составления документов и выполнения работы. Некоторые используют его для выполнения задач, которые могут привести к серьезным последствиям, от психотерапии до проведения исследований и написания юридических заключений.
“Я не думаю, что сегодня есть хоть одна модель, которая не страдает от каких-либо галлюцинаций”, – сказала Даниэла Амодей, соучредитель и президент Anthropic, создатель чат-бота Claude 2.
“На самом деле они просто созданы для того, чтобы предсказывать следующее слово”, – сказал Амодей. “И таким образом, будет некоторая скорость, с которой модель будет делать это неточно”.
Anthropic, создатель ChatGPT OpenAI и другие крупные разработчики систем искусственного интеллекта, известных как large language models, говорят, что работают над тем, чтобы сделать их более правдивыми.
Сколько времени это займет — и будут ли они когда—нибудь достаточно хороши, чтобы, скажем, безопасно раздавать медицинские консультации, – еще предстоит выяснить.
“Это не поправимо”, – сказала Эмили Бендер, профессор лингвистики и директор лаборатории компьютерной лингвистики Вашингтонского университета. “Это связано с несоответствием между технологией и предлагаемыми вариантами использования”.
Многое зависит от надежности технологии генеративного искусственного интеллекта. Глобальный институт McKinsey прогнозирует, что это добавит к мировой экономике сумму, эквивалентную от 2,6 до 4,4 трлн долларов. Чат-боты – лишь одна часть этого безумия, которое также включает в себя технологии, способные генерировать новые изображения, видео, музыку и компьютерный код. Почти все инструменты включают в себя какой-либо языковой компонент.
Google уже предлагает новостным организациям продукт с искусственным интеллектом для написания новостей, для которых точность имеет первостепенное значение. Associated Press также изучает возможность использования этой технологии в рамках партнерства с OpenAI, которая платит за использование части текстового архива AP для улучшения своих систем искусственного интеллекта.
В партнерстве с индийскими институтами гостиничного менеджмента ученый-компьютерщик Ганеш Баглер в течение многих лет работал над созданием систем искусственного интеллекта, включая предшественник ChatGPT, для изобретения рецептов блюд южноазиатской кухни, таких как новые версии бирьяни на основе риса. Один-единственный “галлюцинированный” ингредиент может стать разницей между вкусным и несъедобным блюдом.
Когда Сэм Альтман, генеральный директор OpenAI, посетил Индию в июне, у профессора Института информационных технологий Индрапрастхи в Дели возникло несколько острых вопросов.
“Я думаю, галлюцинации в ChatGPT все еще приемлемы, но когда рецепт выходит с галлюцинациями, это становится серьезной проблемой”, – сказал Бейглер, стоя в переполненной аудитории кампуса, чтобы обратиться к Альтману во время остановки в Нью-Дели в рамках мирового турне американского технического руководителя.
“Что ты об этом думаешь?” – в конце концов спросил Бейглер.
Альтман выразил оптимизм, если не откровенную приверженность делу.
“Я думаю, мы решим проблему галлюцинаций гораздо лучше”, – сказал Альтман. “Я думаю, что это займет у нас полтора-два года. Что-то вроде того. Но на данный момент мы больше не будем говорить об этом. Существует баланс между креативностью и идеальной точностью, и модели нужно будет научиться, когда вы хотите того или иного”.
Генеральный директор OpenAI Сэм Альтман выступает в Абу-Даби, Объединенные Арабские Эмираты, во вторник, 6 июня 2023 года. Anthropic, создатель ChatGPT OpenAI и другие крупные разработчики систем искусственного интеллекта, известных как large language models, говорят, что они усердно работают над тем, чтобы сделать их более правдивыми. Фото: AP Photo/Джон Гэмбрелл, файл
Но для некоторых экспертов, изучавших технологию, таких как лингвист из Вашингтонского университета Бендер, этих улучшений будет недостаточно.
Бендер описывает языковую модель как систему для “моделирования вероятности различных последовательностей словоформ”, учитывая некоторые письменные данные, на основе которых она была обучена.
Именно так средства проверки орфографии могут определить, когда вы ввели неправильное слово. Это также помогает активизировать службы автоматического перевода и транскрипции, “сглаживая выходные данные, чтобы они больше походили на типичный текст на целевом языке”, – сказал Бендер. Многие люди полагаются на ту или иную версию этой технологии всякий раз, когда они используют функцию “автозаполнения” при составлении текстовых сообщений или электронных писем.
Новейшие чат-боты, такие как ChatGPT, Claude 2 или Google Bard, пытаются вывести это на новый уровень, генерируя целые новые фрагменты текста, но Бендер сказал, что они по-прежнему просто повторно выбирают наиболее правдоподобное следующее слово в строке.
При использовании для генерации текста языковые модели “предназначены для того, чтобы что-то выдумывать. Это все, что они делают”, – сказал Бендер. Они хорошо имитируют письменные формы, такие как юридические контракты, телевизионные сценарии или сонеты.
“Но поскольку они всегда что-то выдумывают, когда выдавливаемый ими текст оказывается интерпретируемым как нечто, что мы считаем правильным, это происходит случайно”, – сказал Бендер. “Даже если их можно настроить так, чтобы они были правильными большую часть времени, у них все равно будут режимы сбоев — и, вероятно, сбои будут в тех случаях, когда человеку, читающему текст, труднее заметить, потому что они более неясны”.
По словам президента компании Шейна Орлика, эти ошибки не являются большой проблемой для маркетинговых фирм, которые обращаются к Jasper AI за помощью в написании презентаций.
“Галлюцинации на самом деле являются дополнительным бонусом”, – сказал Орлик. “У нас постоянно есть клиенты, которые рассказывают нам, как им приходили в голову идеи — как Джаспер создавал сюжеты или ракурсы, о которых они сами никогда бы не подумали”.
Техасский стартап работает с такими партнерами, как OpenAI, Anthropic, Google или Facebook parent Meta, чтобы предложить своим клиентам широкий выбор языковых моделей искусственного интеллекта, адаптированных к их потребностям. По словам Орлика, для тех, кто заботится о точности, может быть предложена модель Anthropic, в то время как кто-то, обеспокоенный безопасностью своих собственных исходных данных, может получить другую модель.
Орлик сказал, что он знает, что галлюцинации будет нелегко вылечить. Он рассчитывает на то, что такие компании, как Google, которые, по его словам, должны иметь “действительно высокий стандарт фактического контента” для своей поисковой системы, вложат много энергии и ресурсов в решения.
“Я думаю, они должны решить эту проблему”, – сказал Орлик. “Они должны решить эту проблему. Так что я не знаю, будет ли это когда-нибудь идеально, но, вероятно, со временем будет становиться все лучше и лучше”.
Технооптимисты, включая соучредителя Microsoft Билла Гейтса, предсказывали радужные перспективы.
“Я настроен оптимистично в отношении того, что со временем модели искусственного интеллекта можно будет научить отличать факты от вымысла”, – сказал Гейтс в июльском сообщении в блоге, в котором подробно изложил свои мысли о социальных рисках ИИ.
Он привел статью OpenAI за 2022 год в качестве примера “многообещающей работы на этом фронте”. Совсем недавно исследователи из Швейцарского федерального технологического института в Цюрихе заявили, что разработали метод обнаружения некоторого, но не всего, галлюцинаторного контента ChatGPT и автоматического его удаления.
Но даже Альтман, поскольку он продает продукты для самых разных целей, не рассчитывает на правдивость моделей, когда ищет информацию.
“Я, вероятно, меньше всего на Свете доверяю ответам, которые приходят из ChatGPT”, – сказал Альтман толпе в университете Бейглера, вызвав смех.