Эксперты объяснили, почему сложно устранить «галлюцинации» у ИИ

Исследователи из OpenAI представили научную работу, объясняющую природу возникновения «галлюцинаций» крупных языковых моделей, включая ChatGPT. Речь идет о ситуации, когда система уверенно выдает ложную информацию. Ученые утверждают, что такая проблема возникает не случайно и даже невозможно устранить ее окончательно путем улучшения методов обучения нейронных сетей. Об этом сообщает Science Alert.

Фото из открытых источников

Исследование показало, что механизм формирования ответов большими языками моделями подразумевает постепенное построение предложений слово за словом, основываясь на вероятностных расчетах. Это неизбежно ведет к накоплению ошибок при формировании длинных последовательностей текста. Даже при идеальной тренировочной выборке остаются области неопределенности, приводящие к ошибкам.

Более того, авторы обнаружили зависимость частоты появления неверных фактов от редкости конкретных сведений в процессе тренировки модели. Например, если около 20% дат рождений известных людей встречаются лишь однажды в тренировочных данных, вероятность неправильного ответа на запросы относительно их дня рождения достигает тех же 20%.

Еще одна важная причина устойчивости этой проблемы связана с принципами оценки качества современных систем искусственного интеллекта. Большинство существующих тестов и рейтингов используют бинарную систему оценивания, при которой неправильные ответы и неуверенность («не знаю») получают одинаковый нулевой балл. Таким образом, стратегии оценки стимулируют уверенность, независимо от правильности ответа.

Предложенный учеными способ исправления заключается в изменении подхода к оценке результатов работы нейросетей. Модель должна учитывать собственную степень уверенности перед выдачей ответа, а тестовые системы должны вознаграждать отказ от недостоверных утверждений. Однако внедрение подобной схемы значительно снизит скорость обработки запросов и повысит вычислительные затраты, делая процесс экономически менее привлекательным для разработчиков массовых приложений.

В общем, несмотря на наличие технических решений, устранение «галлюцинаций» сталкивается с серьезными экономическими препятствиями. По мнению авторов исследования, пока бизнес-модели потребительских сервисов будут требовать быстрых и уверенных ответов, ошибка продолжит возникать при функционировании большинства популярных чат-ботов.

..
Источник