Содержание:
- Классический подход в разработке автономного транспорта
- GenAI: новая эра автономного транспорта
- Фотореалистичный симулятор NavioSim
Этот поворот ознаменовал начало нового этапа в развитии российских автономных транспортных систем, который обеспечит высокое качество восприятия окружающей среды и принятия решений.
Классический подход в разработке автономного транспорта
Алгоритмический подход признан классическим в разработке автономного транспорта. Логическая архитектура построена на основе последовательности действий водителя за рулем:
- восприятие окружающего мира — набор сенсоров (радары, лидары, камеры);
- определение местоположения — карты, модуль позиционирования, сенсоры;
- предсказывание действий других объектов вокруг — алгоритмы на базе кинематической составляющей и модели динамики объектов;
- планирования пути — руководство к действию или свод правил, основанный на правилах дорожного движения (ПДД);
- управление — модуль внутри автомобиля приводит его в движение.
Подход предполагает написание алгоритмов вручную для каждого сценария взаимодействия транспортного средства с окружающим миром. Однако реальность оказалась сложнее: невозможно прописать все условия заранее, мир сегодня слишком непредсказуем — проблему бесконечности сценариев принято называть Long Tail. Таким образом, алгоритмический подход не позволит масштабировать технологию и обеспечить ее стабильность в 100% сценариев, особенно в условиях города.
GenAI: новая эра автономного транспорта
Главная цель в создании Physical AI компании Navio — надежность, безопасность и стабильность технологии, чтобы автономный автомобиль ехал не просто как человек, а лучше него. В 2025 году Navio перешла к принципиально новому подходу в разработке технологии — внедрила генеративный искусственный интеллект (GenAI).
Благодаря интеграции VLA-моделей (Vision-Language-Action) автономный транспорт сможет понимать окружающий мир. Основное преимущество VLA — объединение восприятия, прогнозирования и принятия решений в единую систему, которая позволяет адаптироваться к новым сценариям в моменте и применять накопленный опыт в нестандартных ситуациях. Для обучения моделей нужен полный объем тестовых данных — миллионы километров проездов на масштабном парке автомобилей. Тем не менее, даже такой большой объем данных не гарантирует наличие записей редких сценариев (лобовое столкновение, животное на дороге, др.).
Для полноценного тестирования и адаптации генеративных моделей возникла необходимость воспроизведения сложных дорожных ситуаций в контролируемой среде. Ответом стало создание NavioSim — фотореалистичного симулятора, позволяющего воссоздавать различные сценарии дорожного движения с высокой точностью.
Фотореалистичный симулятор NavioSim
Компания Navio разработала фотореалистичный симулятор — NavioSim, который позволяет в реальном времени создавать неограниченное количество цифровых сценариев с максимальной детализацией. Технология основана на комбинации генеративных и собственных нейросетевых моделей Navio.
Преимущества NavioSim:
- Возможность воспроизводить крайне редкие и рискованные сценарии, которые помогают развивать способности генеративных моделей к решению критических задач, в безопасной виртуальной среде.
- Высокая степень детализации, сравнимая с видеозаписью регистратора автомобиля.
- Неограниченное количество симуляций на основе заданного контента, который можно менять под запрос: моделирование городских улиц, агентов движения и их траекторий, объектов, погодных условий и времени суток.
- Увеличение скорости разработки.
- Повышение предсказуемости и безопасности автоматизированных систем.
Симулятор позволяет проводить тестирование отдельных алгоритмов/подсистем и интеграционное — полного пайплайна, от данных сенсоров до исполнения управляющих сигналов для автомобиля. Таким образом, получается три контура тестирования:
- SIL (Software-in-the-Loop) — быстрое тестирование работоспособности всех алгоритмов в контролируемой среде.
- HIL (Hardware-in-the-Loop) — поиск проблем на стыке soft- и hardware. Позволяет воспроизвести любые внешние условия и вносить ошибки, чтобы выявить, как компонент с ними справляется.
- VIL (Vehicle-in-the-Loop) — «очки виртуальной реальности» для автомобиля на полигоне. Имитация сложных сценариев, которые невозможно воспроизвести в жизни — вводные данные передаются на датчики автономного транспортного средства из симулятора.
Источники данных для моделирования сценариев в симуляторе:
- Данные реальных проездов.
- Модификация реальных проездов с помощью графического редактора.
- Созданные с нуля синтетические данные.
Для обеспечения максимального соответствия тестирований в симуляторе реальным условиям необходимы:
- Фотореалистичные данные с виртуальных камер, лидарные и радарные облака, идентичные настоящим сенсорам.
- Точная физическая модель автомобиля, которая отрабатывает все сигналы управления и дает корректную обратную связь, как это делает транспортное средство в реальном мире.
Почему для VLA-модели важна фотореалистичность данных:
- В отличие от классических алгоритмов, которые решают отдельные задачи, VLA позволяет объединять восприятие, прогноз и принятие решений в единую систему. Модель переводит сложный поток данных с камер, радаров и лидаров в понятное описание ситуации: что происходит на дороге, какие объекты рядом и как они могут себя вести. То есть модель видит картину целиком, связывает ее с контекстом и способна интерпретировать их смысл, как человек.
- В основе VLA лежит большая визуально-языковая модель, которая принимает на вход изображения с камер, анализирует их и определяет оптимальную траекторию движения. Для тестирования модели в симуляторе мы должны отдавать ей данные, которые она может увидеть в реальности — фотореалистичную графику.
Как Navio создает фотореалистичные изображения для симулятора:
- Метод 3D Gaussian Splatting (3DGS) — это технология для создания и визуализации трехмерных сцен, которая основана на представлении объектов с помощью гауссовых функций в трехмерном пространстве.
- Преимущества метода: фотореалистичные результаты, высокая скорость работы, свободное перемещение внутри сцены.
- В основе модели лежит математический объект под названием гауссиана. Ее можно визуализировать в виде некоторого размытого пятна. Гауссиана может быть разного размера, цвета, повернутой, растянутой и т.д. При наложении друг на друга несколько сотен тысяч гауссиан в трехмерном пространстве образуют картинку из пятен, в которой сложно распознать объекты — эти данные не обеспечивают необходимый уровень фотореалистичности.
- Поэтому на следующем шаге алгоритм обучения определяет, как нужно поправить параметры гауссиан, чтобы изображение симулятора получилось таким же, как изображение с камеры. Это свойство гауссиан называется дифференцируемость.
- Кроме того, симулятор позволяет моделировать данные лидаров. В этом случае для каждой точки изображения рассчитывается расстояние от камеры до ближайшей гауссианы по прямой.
Фотореалистичный симулятор — ключевой компонент в разработке эффективных автономных систем PhysicalAI. Он позволяет кратно ускорить сбор данных для обучения и тестирования. Таким образом, реализуются все необходимые сегменты навыков вождения AI-водителя — полный перечень функций, который человек выполняет за рулем автомобиля. В будущем NavioSim также будет способствовать быстрому масштабированию технологии и запуску в любой новой локации.
