ChatGPT проехал трассу из конусов лишь со второй попытки | 7Post

Трое сотрудников калифорнийского стартапа посадили четыре нейросети за руль обычной Toyota Corolla. До финиша добралась одна, GPT-6 Astra, да и той пришлось объяснять, что всё понарошку.

Чтобы GPT-6 Astra поехала, её пришлось обмануть. Это самая забавная деталь всей истории. Стоило модели понять, что перед ней настоящая машина, и она начинала упираться. Одни бот-водители отказывались садиться за руль, другие честно предупреждали, что ехать безопасно не смогут.

Авторы эксперимента перепробовали разные ходы. Сначала попытались выдать заезд за симуляцию. Иногда срабатывало, но чаще модель разглядывала кадр с камеры, видела настоящую парковку и заявляла, что её обманывают. Помогло слово «песочница». Под этим названием задача сняла у Astra внутренние тормоза, хотя парковку та по-прежнему видела своими глазами.

Трое из Сан-Франциско и мороженое

За проектом DrivingBench стоят Адитья Рамабадран, Тобиас Гесслер и Саймон Маннс. В будни они работают в стартапе Axiom Math, который делает искусственный интеллект для математики. Идея родилась в выходной, в кафе-мороженом. Дальше пошла обычная инженерная рутина: Гесслер отправился арендовать машину.

Название говорит само за себя. Бенчмарки давно стали главной валютой в мире нейросетей: модели гоняют по тестам на код, математику и знания. Тут решили проверить, что будет, если тестом станет руль.

Что было под капотом

Взяли Toyota Corolla 2022 года и поставили на неё устройство Comma 4 с открытой системой openpilot. Оно умеет управлять рулём, газом и тормозом через шину CAN. К устройству по интернету подключили ноутбук с языковой моделью.

Набор инструментов у моделей был скромный. Первый выдавал картинку с двух камер и телеметрию. Второй позволял задать угол руля и скорость. Третий останавливал машину.

Скорость зажали в рамки: от 0,5 до 3,5 метра в секунду. Если перевести на привычные единицы, это от 2 до 12 километров в час, то есть от медленного шага до неспешной пробежки. При этом на водительском месте всё время сидел человек, положив ногу рядом с педалью тормоза.

Трасса была из тех, что рисуют на парковке для новичков: прямые участки, повороты налево и направо, отмеченная зона финиша. На каждую нейросеть отводили три заезда подряд в одном чате. Смысл в том, чтобы после провала бот мог сам разобрать ошибки и выехать снова.

Кто вышел на старт

Участников было четыре:

Итоги заездов

Grok и Sol не осилили даже первый поворот. По словам авторов, дальше нескольких метров они не уехали.

У Claude Fable 5.1 получилось лучше. По данным Cybernews, на третьей попытке он добрался примерно до середины трассы. Финиш так и остался за горизонтом.

Astra тоже стартовала неуверенно: первый заезд оборвался на отметке 49% дистанции. Тогда её попросили разобрать собственные ошибки и попробовать снова. Второй заезд она прошла целиком, чуть больше чем за пять минут. Тот самый поворот, на котором бот споткнулся в первый раз, теперь брался без проблем. А потом, как рассказал Маннс, она справлялась и с поворотами, которых раньше не видела.

Впрочем, лавры достались не бесплатно. Авторы признаются, что возились с подсказками много часов, прежде чем Astra стала ездить стабильно. Так что «взяла и поехала» здесь слегка преувеличение.

Что это доказывает

Авторы сразу оговорились: никто не предлагает пересаживать пассажиров на ChatGPT. Скорость черепашья, вокруг одни конусы, человек начеку. Маннс подчеркнул, что Waymo от такого соседства бояться рано.

Зато его зацепило другое. Модель, которую никогда не учили водить, за пару попыток разобралась в новом для себя занятии. По его словам, большинство людей знает ChatGPT как офисного помощника, живущего внутри компьютера, а теперь его способности вот-вот начнут влиять на физический мир. Наблюдать за этим, признался он, невероятно интересно.

Критики смотрят на вещи приземлённее. Языковая модель по своей природе получает текст и выдаёт текст, а вождение требует мгновенной реакции. Задержка ответа по интернету в реальном потоке была бы попросту опасной. Так что до конкуренции с настоящими беспилотниками этим чат-ботам очень далеко.

Разбор автора: почему на это стоит смотреть

Для российского читателя беспилотники давно не фантастика. «Яндекс» возит пассажиров без водителя по Москве, а американские Waymo и Tesla накатали миллионы километров. Но у них за рулём системы, которые годами учились на дорожных данных, и это узкие специалисты.

DrivingBench проверяет другое. Универсальный чат-бот, созданный для писем и кода, получает доступ к железу и должен сообразить, что с ним делать. Это не соревнование с «Яндексом» и Waymo, а проверка на гибкость.

Тут стоит вспомнить, о чём сейчас говорит вся индустрия. Тема «физического ИИ», то есть систем, которые понимают окружающий мир и действуют в нём, набирает обороты. Для неё делают специальные модели Nvidia и китайские компании. DrivingBench показывает, что универсальные чат-боты тоже способны дотянуться до реального мира, если дать им доступ к рулю.

Есть и вторая сторона медали, которую нельзя пропустить. Отказы моделей ехать по настоящей парковке выглядят как встроенная осторожность. А то, что её удалось снять простым словом «песочница», заставляет задуматься, насколько такие тормоза надёжны. Впрочем, это уже тема для отдельного разговора.

Пока же всё выглядит так: чтобы нейросеть проехала парковку, нужны ноутбук на пассажирском сиденье и человек с ногой над тормозом.

Источники:

https://404media.co
https://futurism.com
https://cybernews.com