Qwen-Drive объединяет восприятие дороги и планирование, но ошибки остаются
Alibaba представила исследовательскую модель для восприятия дорожной сцены, ответов на вопросы и планирования маршрута. В симуляции доля съездов с дороги снизилась с 24 до 12%, однако объяснения модели не всегда совпадали с её манёврами.
Три задачи в одной модели
Qwen-Drive 1.0 построена на Qwen3.5-4B и предназначена для трёх связанных задач: распознавать пространственную структуру дорожной сцены, отвечать на вопросы о ситуации и планировать движение автомобиля. Исследователи подчёркивают, что способность описать изображение сама по себе не означает понимания расстояний, положения объектов и свободного пространства.
К модели добавили модуль восприятия, который строит вид сверху: отмечает объекты в 3D, занятые области и геометрию дороги. Второй компонент, Planning Expert, использует внутренние представления модели для планирования траектории на ближайшее время. В эксперименте обучение только дополнительных модулей не дало высокой пространственной точности; улучшение появилось, когда пространственным задачам обучали и саму мультимодальную модель.
Обучение и результаты испытаний
Команда объединила 24 открытых набора дорожных данных с разными форматами и отдельными ошибками. Вопросы и ответы приводили к общему формату с помощью другой ИИ-модели, затем обучение последовательно охватывало восприятие, ответы на вопросы и планирование. На финальном этапе применили обучение с подкреплением и примеры, где объясняется причина решения — например, какой объект требует торможения.
По тестам авторов, Qwen-Drive превосходила базовую Qwen3.5-4B в вопросах о дорожных сценах, особенно при объяснении причин поворота или торможения. В симуляторе версия после обучения с подкреплением снизила долю съездов с дороги с 24 до 12%, но одновременно ехала осторожнее и преодолевала меньшее расстояние.
Почему до реальной дороги далеко
Модель может неверно объяснить причину манёвра, а запланированное действие не всегда соответствует её рассуждению. На изображениях с конфигурациями камер других автомобилей она распознавала заметно меньше: подходящих обучающих данных пока не хватает. Часть оценок основана на тестах, которые авторы разработали или адаптировали сами, поэтому результаты не доказывают готовность к сложным дорожным условиям.
Исследователи открывают модель для научного сообщества. Это исследовательская система, а приведённые испытания в симуляции не являются подтверждением безопасной эксплуатации автономного автомобиля.