Waymo, подразделение, которое отвечает за беспилотные технологии, объявило о запуске системы моделирования под названием Waymo World Model. Главная цель разработки — сделать автономное вождение еще безопаснее, заранее «проигрывая» на компьютере ситуации, которые на реальных дорогах встречаются редко или почти не встречаются вовсе.
Что уже умеет Waymo Driver и зачем ему виртуальные мили
Система автономного управления Waymo Driver к настоящему моменту обеспечила полностью автономные поездки на дистанции около 2 миллиардов миль. Но ставка делается не только на реальный пробег: параллельно компания нарабатывает опыт в цифровой среде, где можно без риска отрабатывать сложные сценарии до того, как они попадутся на дорогах общего пользования.
Waymo World Model: новый уровень «мира» для беспилотника
По словам разработчиков, новая World Model задает планку для крупномасштабных и максимально реалистичных симуляторов. В основе лежит Genie 3 — универсальная модель мира от Google DeepMind, но в версии Waymo она адаптирована именно под задачи автономного вождения.
Ключевая особенность: опыт из огромного массива видеоданных
Главное отличие подхода — возможность опираться на широкие знания о мире, которые Genie 3 получила из разнообразных видеоматериалов. Благодаря этому симулятор способен воспроизводить события, которые почти невозможно «поймать» в реальной эксплуатации, включая крайне редкие и необычные эпизоды.
- стихийные явления вроде торнадо;
- экзотические столкновения, например с крупными животными;
- нетипичные дорожные ситуации, которые сложно собрать в статистически значимом объеме.
Почему это отличается от привычных симуляторов в индустрии
Обычные имитационные модели в сфере беспилотников, как правило, учатся только на данных, собранных непосредственно во время поездок. Из-за этого их «жизненный опыт» ограничен тем, что удалось реально зафиксировать. Waymo World Model, в свою очередь, прошла профессиональную постобработку: информацию из 2D-видео преобразовали в 3D-представление, которое соответствует фирменному сенсорному набору Waymo.
Камеры и лидар: несколько «слоев» восприятия
Камеры дают детализированную картинку, а лидар добавляет точный сигнал глубины. В результате модель способна генерировать для одной и той же сцены сразу несколько сенсорных модальностей — как для повседневной езды, так и для редких «длиннохвостых» сценариев.
Какие ситуации симулятор способен воспроизводить
Waymo отдельно подчеркивает, что World Model умеет имитировать экстремальные погодные условия и последствия катастроф, а также опасные дорожные эпизоды, критичные для безопасности.
Примеры экстремальной среды
- движение по заснеженному мосту Золотые ворота;
- сценарии с торнадо;
- затопленные жилые кварталы с плавающей мебелью;
- снег в тропических городах;
- эвакуационные и «пожарные» ситуации при сильных возгораниях.
Редкие, но важные дорожные инциденты
- неосторожный выезд других водителей за пределы проезжей части;
- наезд впереди идущего транспорта на ветви деревьев;
- движение задним ходом у небезопасно припаркованных машин;
- неисправные грузовики, перекрывающие дорогу и стоящие в неправильном направлении.
«Немыслимые» объекты на траектории
Отдельная категория — столкновения с тем, что в обычной жизни почти не встречается:
- слон, техасский лонгхорн или лев;
- пешеход в костюме тираннозавра;
- гигантское перекати-поле размером с автомобиль.
Три механизма управления симуляцией
Чтобы гибко собирать нужные эпизоды, Waymo World Model использует три базовых инструмента.
- Управление движением — симуляция, чувствительная к заданным операционным вводам, включая «что если»-варианты поведения (например, мог ли Waymo Driver действовать увереннее и безопаснее, не уступая в конкретной ситуации).
- Управление размещением на сцене — настройка разметки, сигналов и поведения других участников движения, а также выборочное добавление объектов.
- Управление языком — самый гибкий способ задавать время суток, погоду и даже создавать полностью синтетические сцены, включая редкие сценарии «длинного хвоста».
Что можно менять языковыми подсказками
- время суток: рассвет, утро, полдень, послеобеденное время, вечер, ночь;
- погоду: облачность, туман, дождь, снег, ясное небо.
От обычного видео — к симуляции «глазами» Waymo
Еще одна важная возможность: World Models умеет превращать стандартные видеозаписи, снятые на мобильные устройства и автомобильные регистраторы, в мультимодальные модели. В качестве примеров упоминаются материалы из Норвегии, национального парка Арчес (Юта) и Долины смерти (Калифорния). Такой подход повышает реализм, поскольку опирается на реальные изображения.
Длинные сценарии и экономия вычислений
Чем дольше длится симуляция, тем сложнее расчеты и тем труднее удерживать стабильное качество. Однако Waymo заявляет, что более эффективный вариант модели мира позволяет сохранять высокий реализм при заметно меньших вычислительных затратах — а значит, становится возможным крупномасштабное моделирование.
Примеры долгосрочных эпизодов
- маневры в быстром потоке на остановках и шоссе;
- движение по густонаселенным жилым районам;
- подъем по крутым склонам, чтобы избежать столкновения с мотоциклистами;
- развороты и другие продолжительные последовательности действий.
Зачем Waymo моделировать «невозможное»
Смысл подхода прост: если заранее отработать самые редкие и сложные ситуации, то можно поднять планку безопасности еще до того, как эти проблемы проявятся в реальном мире. Именно так Waymo рассчитывает закрывать риски «длинного хвоста» — тех событий, которые случаются нечасто, но могут иметь решающее значение (источник: response.jp).
