[E2E 자율주행] (6)-1 Benchmarking: Real-world / Closed-loop / Open-loop

End-to-End Autonomous Driving과 관련된 다양한 게시물은
Introduction에서 확인하실 수 있습니다.

Benchmarking

Real-world

초기 자율주행 벤치마킹은 실제 환경 평가에서 시작.

DARPA

• 자율주행 경주 시리즈.
• 240km의 모하비 사막 경로를 자율적으로 주행.
• 100만 달러의 상금을 걸었으나 성공하지 못함.

DARPA Urban Challenge

• 차량이 교통법을 준수하며 장애물을 피하고 96km의 가상 도시 코스 주행
• LiDAR 센서와 같은 자율주행 기술 발전을 이끌어냄.

MCity

• 자율주행차 테스트를 위한 대규모 제어된 실세계 환경을 설립.
• 데이터와 차량 부족으로 인해 학계에서는 엔드투엔드 시스템에 이 환경을 널리 활용하지 못했습니다.
• 산업체는 알고리즘 개선을 벤치마킹하기 위해 실세계 평가에 의존.

 

Online/Closed-loop Simulation

실제 환경에서 테스트하는 것은 비용이 많이 들고 위험할 수 있음. → 시뮬레이션

• 빠른 prototyping & testing 가능.
• 아이디어를 빠르게 반복하고 다양한 시나리오에서 저비용으로 단위 테스트(unit testing) 수행
• 날씨, 지도, 3D 객체 배치 등의 환경 세부 제어 가능.
• 정확한 성능 측정을 위한 도구도 제공합니다.
• 한계: 시뮬레이션 환경에서 얻은 결과가 반드시 실세계에 일반화되지는 않음.

Closed-loop 평가

real-world driving을 가깝게 모방한 시뮬레이션 환경 구축

시스템이 교통 상황에서 안전하게 이동하며 목표 위치로 진행하는 성능 측정.

Parameter Initialization

• 시뮬레이션 환경에서 초기 parameter가 많아 설계 과정의 복잡성을 해결하기 위한 방법
• Procedural Generation: 초기 매개변수를 알고리즘으로 생성하는 방식
• Data-Driven:
  • 실제 주행 데이터에서 현실을 반영한 새로운 시나리오를 생성.
  • Log Sampling
  • Generative Modeling

Traffic Simulation

• 차량, 보행자 virtual entities를 genetating & 실제처럼 움직이도록 positioning.
• Rule-Based: 미리 정의된 규칙을 사용해 교통 객체의 움직임을 생성.
• Data-Driven : 실제 주행 데이터를 활용해 interactive & complex한 traffic behavior(차선 변경, 합류, 급정지 등) 모델링.

Sensor Simulation

• 시뮬레이터에서 image나 LiDAR 스캔 같은 raw data 생성 및 noise와 occlusion 반영한 현실적인 평가
• Graphics-Based: 센서에서의 phisical rendering 과정을 근사(approximation)하여 데이터 생성.
• Data-Driven: real-world sensor data를 활용하여 시뮬레이션을 생성
  • Neural Radiance Fields(NeRF) & 3D Gaussian Splatting
  • Domain Adaptation

Vehicle Dynamics Simulation

• 시뮬레이션된 차량이 물리적으로 타당한 움직임을 따르도록 보장

Benchmarks

CARLA, NoCrash, Town05, LAV, Roach, Longest6, Leaderboard v2, nuPlan, Val14 등이 있음.

 

Open-loop

사전 녹화된 expert 운전 데이터를 기준으로 시스템 성능을 평가.

개념 및 특징

Sensor input과 goal location을 기반으로 예측된 future trajectory를 실제 운전 데이터와 비교하여 성능 측정

• 필요한 평가 데이터셋: sensor readings, goal locations, corresponding future driving trajectories
• 보조 지표: 충돌 확률과 궤적 예측 정확도
• 테스트 중 시스템이 전문가의 운전 경로에서 벗어날 경우, 이러한 편차를 회복하는 능력을 확인하는 것이 중요
• 데이터에서 관찰되지 않은 옵션을 페널티로 간주.
  - Ex) 진입 차로로 합류하는 경우 즉시/나중에 진입하는 두 옵션이 모두 유효함
• nuScenes, Argoverse, Waymo, nuPlan 등의 데이터셋이 있음.

Metrics

• collision probability and prediction errors
• multi-modal scenario에서 trajectory간 거리는 이상적이지 않음
• 이외에도 교통법규 위반, 진행도, 운전의 쾌적함 등을 포함하는 포괄적인 지표가 제안됨.

장점: 시뮬레이터 없이도 현실적인 데이터로 쉽게 구현할 수 있음.

 

단점:
- 실제 배포 상황에서 발생할 수 있는 오류 복구 능력을 평가하지 못함
- closed-loop에서 개선된 운전 행동을 입증하지 못함