[E2E 자율주행] (3) 개념 및 특징

End-to-End Autonomous Driving과 관련된 다양한 게시물은
Introduction에서 확인하실 수 있습니다.

 

시스템을 모듈화하지 않고 센서 입력부터 제어출력까지 단일 신경망을 통해 시스템을 개발하는 방식

• 엔드 투 엔드(E2E) 자율주행 시스템은 기존의 모듈화된 자율주행 시스템과는 달리, 센서 입력에서 제어 출력까지 하나의 신경망을 통해 학습 및 최적화하는 방식.
• 인지(Perception), 예측(Prediction), 계획(Planning), 제어(Control) 등 자율주행의 전 과정을 통합적으로 처리함.
• 조금 더 직관적이고 인간 운전자가 운전을 하는 방식과 유사하게 자율주행을 수행한다고 볼 수 있음.

모듈러 자율주행과의 차이점

출처: 현대엔지비 - 2024년 E2E 자율주행 현황 (https://www.hyundai-ngv.com/information/mobilitytrend_view.do?bbsIdx=2324)

 

개념 및 구조

출처: End-to-end Autonomous Driving:Challenges and Frontiers (https://arxiv.org/pdf/2306.16927)

• e2e 방식은 구성 요소 간 feature representation을 회색 화살표처럼 전달하고, loss는 빨간 화살표로 표시한 역전파를 통해 최소화됨. 이 과정에서 작업이 공동으로 최적화.
• e2e 방식이 단순히 계획/제어 출력을 가진 "블랙박스"를 의미하지는 않음.
• 중간 표현과 출력을 가질 수 있으며, 모듈형 설계를 유지하지만 모든 구성 요소를 함께 최적화는 방식으로 성능을 향상시킴.

 

주요 특징

1. 공동 최적화:
   • 단일 모델로 perception, prediction, planning을 통합하고 공동으로 학습.
   • intermediate representation을 포함하여 최종 작업에 맞춰 최적화.
2. 계산 효율성:
   • 공유되는 backbone 구조를 사용하여 계산 효율성 높임.
3. 확장 가능성:
   • 데이터 기반 최적화를 통해 훈련 데이터의 확장만으로 성능이 향상될 가능성이 있습니다.

 

Input & Output

Input Modalities

1. 차량 상태 (Vehicle States)
   • 차량의 속도, 가속도, yaw rate 등 동적 정보를 포함.
   • 현재 차량의 상태를 기반으로 예측 및 의사결정을 지원.
2. 시각 센서 (Visual Sensors)
   • 카메라, LiDAR, 레이더 등의 센서 데이터를 활용.
   • 주변 환경(도로, 보행자, 차량 등)에 대한 인지를 제공.

Output Modalities

1. 제어 명령 (Control Commands)
   • 예측 내용: 조향(steering) 및 가속/감속(acceleration) 명령.
   • 사용 목적: 차량의 즉각적인 물리적 제어를 담당.
   • 적용 사례: End-to-End 자율주행 시스템에서 행동 예측 후 바로 제어 명령 실행.
2. 경로 웨이포인트 (Trajectory Waypoints)
   • 예측 내용: 차량이 따라야 할 웨이포인트의 연속된 시퀀스.
   • 사용 목적: 단기적 또는 중기적 경로 계획을 지원.
   • 장점: 명확한 경로 정보를 제공하여 플래닝과 통합이 용이.
3. 경로 후보 점수 (Trajectory Candidate Scores)
   • 예측 내용: 여러 경로 후보 중 가장 적합한 경로의 점수 산출.
   • 사용 목적: 최적 경로 선택을 위한 기준 제공.
   • 장점: 다양한 경로를 평가함으로써 안전성과 효율성을 극대화

 

Modular End-to-End planning의 필요성과 학습 과정

효과

• perception/prediction module에서 후처리로 인한 information loss 줄임.
  - Non-maximum suppression or thresholding
  - Ex) 후미등은 차량의 의도를 나타낼 수 있으나, 이후 모듈로 충분히 전해지지 않는 문제.
• 모듈간 compounding errors 줄임.
• 사전 지식을 활용하고 upstream task에 구조적 정보를 추가하여 covariate shift (Biased GT) 완화.
• Intermediate task는 추가적인 interpretability와 각 네트워크 모듈에 일반화를 도움.

학습과정

1. Sensor input 학습: 이미지나 LiDAR 데이터를 처리하는 특성 추출기를 학습하는 과정.
2. Perception 및 Prediction 학습: 주어진 데이터를 기반으로 환경을 인식하고 예측하는 기능을 학습.
3. Planning 학습: 이전의 학습 모듈들을 결합하거나 고정된 상태에서 궤적 생성과 제어 기능을 학습.

단계적인 학습 방식은 안정적인 훈련을 보장하고, 데이터 분포의 편향 문제를 완화하는 데 효과적임.

 

장점

1. 중간 표현의 최적화:
   perception, prediction, planning을 통합하여 모델이 중간 표현을 학습하도록 설계할 수 있습니다.
2. 계산 효율성 증가:
   공유된 backbone을 활용해 자원 소모를 줄이고 처리 속도를 높입니다.
3. 데이터 활용 극대화:
   대규모 데이터셋을 통해 학습 성능을 비약적으로 향상시킬 수 있습니다.
4. 공동 최적화:
5. 작업 간 상호 의존성을 고려하여 최적화가 진행되므로, 전체적인 성능 향상이 가능합니다.

단점 및 한계

1. Interpretability 부족:
   • 모델의 출력 결과를 해석하기 어려운 문제.
   • 모델의 설명 가능성을 높이거나 안전성을 보장하는 방법론에 대한 연구 필요.
   • 이를 해결하기 위해 eXplainable AI(XAI) 및 주의(attention) 시각화 등의 방법이 연구되고 있음
2. 일반화 문제:
   • 훈련 데이터와 테스트 데이터 간의 분포 차이로 인한 일반화 문제.
   • 이를 완화하기 위해 온정책(on-policy) 데이터 수집 기법이나 DAgger와 같은 기술이 활용.
3. 안전성 문제:
   • 엣지 케이스(edge case)에서 시스템의 안정성이 부족할 수 있음.
4. 데이터 요구량:
   • 다양한 도로 상황을 학습하기 위해 대규모 고품질 데이터셋 확보가 필수적입니다.
   • 딥러닝 모델의 학습과 추론을 위한 고성능 컴퓨팅 인프라, 특히 실시간 추론을 위해 GPU나 전용 AI 칩셋의 최적화가 필수적
5. Open-loop 평가 진행 어려움

 

결론 및 전망

E2E 자율주행 시스템은 방대한 데이터와 고성능 컴퓨팅 인프라를 필요로 하지만, 작업 간 통합 최적화를 통해 기존 모듈화된 시스템을 뛰어넘는 성능을 보여줄 가능성이 크다고 생각합니다. 향후 연구는 해석 가능성 부족 문제와 안전성 강화를 위한 방법론 개발에 집중될 것이며, 데이터 기반 최적화와 Transformer 기반 아키텍처의 활용이 주요 트렌드로 자리 잡을 전망입니다.

 

 

References

• End-to-end Autonomous Driving:Challenges and Frontiers (https://arxiv.org/pdf/2306.16927)
• 2024년 E2E 자율주행 현황 (https://www.hyundai-ngv.com/information/mobilitytrend_view.do?bbsIdx=2324)
• https://www.cctoday.co.kr/news/articleView.html?idxno=2138326
• http://www.engjournal.co.kr/news/articleView.html?idxno=3020ㅁ