Системы генеративного искусственного интеллекта (ИИ) могут давать некоторые поразительные результаты, но новые исследования показывают, что у них нет целостного понимания мира и реальных правил.
В новом исследовании, опубликованном в базе данных препринтов arXiv, ученые из Массачусетского технологического института, Гарварда и Корнелла обнаружили, что большие языковые модели (LLM), такие как GPT-4 или Claude 3 Opus от Anthropic , не способны создавать базовые модели, которые точно отражают реальный мир.
Например, когда им поручили предоставить пошаговые инструкции по вождению в Нью-Йорке, LLM предоставили их с точностью, близкой к 100%. Но используемые в качестве основы карты были полны несуществующих улиц и маршрутов, когда ученые их извлекли.
Исследователи обнаружили, что когда в директиву вносились неожиданные изменения (например, объезды и закрытые улицы), точность указаний, которые давали LLM, резко падала. В некоторых случаях это приводило к полному провалу. Таким образом, возникают опасения, что системы ИИ, развернутые в реальной ситуации, например, в беспилотном автомобиле, могут давать сбои при предъявлении динамических сред или задач.
«Одна надежда заключается в том, что, поскольку LLM могут делать все эти удивительные вещи с помощью языка, возможно, мы могли бы использовать эти же инструменты и в других областях науки. Но вопрос о том, изучают ли LLM согласованные модели мира, очень важен, если мы хотим использовать эти методы для совершения новых открытий», — сказал в своем заявлении старший автор Ашеш Рамбачан , доцент кафедры экономики и главный исследователь Лаборатории информационных и систем принятия решений Массачусетского технологического института (LIDS) .
Хитрые трансформеры
Суть генеративных ИИ основана на способности LLM параллельно обучаться на огромных объемах данных и параметров. Для этого они полагаются на модели трансформаторов , которые являются базовым набором нейронных сетей, обрабатывающих данные и обеспечивающих аспект самообучения LLM. Этот процесс создает так называемую «модель мира», которую обученный LLM затем может использовать для вывода ответов и создания выходных данных для запросов и задач.
Одним из таких теоретических применений моделей мира было бы использование данных о поездках на такси по городу для создания карты без необходимости кропотливо прокладывать каждый маршрут, как того требуют современные навигационные инструменты. Но если эта карта неточна, отклонения от маршрута приведут к тому, что навигация на основе ИИ будет работать неэффективно или выйдет из строя.
Чтобы оценить точность и согласованность трансформирующих LLM, когда дело доходит до понимания правил и сред реального мира, исследователи протестировали их с помощью класса задач, называемых детерминированными конечными автоматами (DFA). Это задачи с последовательностью состояний, такими как правила игры или перекрестки на маршруте по пути к месту назначения. В этом случае исследователи использовали DFA, взятые из настольной игры Othello и навигации по улицам Нью-Йорка.
Чтобы протестировать трансформаторы с DFA, исследователи рассмотрели две метрики. Первая — «определение последовательности», которая оценивает, сформировал ли трансформатор LLM связную модель мира, если он увидел два разных состояния одного и того же: две доски Othello или одну карту города с перекрытыми дорогами и другую без них. Вторая метрика — «сжатие последовательности» — последовательность (в данном случае упорядоченный список точек данных, используемых для генерации выходов), которая должна показать, что LLM с связной моделью мира может понять, что два идентичных состояния (скажем, две доски Othello, которые абсолютно одинаковы) имеют одинаковую последовательность возможных шагов для выполнения.
Полагаться на LLM — рискованное дело
Два общих класса LLM были протестированы по этим метрикам. Один был обучен на данных, сгенерированных из случайно созданных последовательностей, а другой на данных, сгенерированных с помощью следующих стратегических процессов.
Трансформеры, обученные на случайных данных, сформировали более точную модель мира, обнаружили ученые. Возможно, это было связано с тем, что LLM видели более широкий спектр возможных шагов. Ведущий автор Кейон Вафа , исследователь из Гарварда, объяснил в заявлении: «В «Отелло», если вы видите, как играют два случайных компьютера, а не чемпионы, теоретически вы увидите полный набор возможных ходов, даже плохие ходы, которые чемпионы не сделали бы». Видя больше возможных ходов, даже если они плохие, LLM были теоретически лучше подготовлены к адаптации к случайным изменениям.
Однако, несмотря на генерацию действительных ходов Отелло и точных направлений, только один трансформатор сгенерировал связную модель мира для Отелло, и ни один из типов не создал точную карту Нью-Йорка. Когда исследователи ввели такие вещи, как объезды, все навигационные модели, используемые LLM, дали сбой.