[E2E 자율주행] (7)-7 Challenges: Causal Confusion

End-to-End Autonomous Driving과 관련된 다양한 게시물은
Introduction에서 확인하실 수 있습니다. 

 

Causal Confusion 

모델이 본질적 인과 관계를 학습하지 못하고 비본질적 상관관계(Spurious Correlations)에 의존하는 현상

• 모델이 데이터에서 중요한 요인을 파악하기보다는, 쉽게 사용할 수 있는 shortcut 정보에 지나치게 의존함으로써 발생.
• 자율주행 차량의 현재 행동은 속도나 과거 궤적과 같은 low-dimensional spurious feature와 강하게 연관될 수 있음.
• End-to-End 모델이 이러한 특징에 의존하게 되면 causal confusion이 발생할 수 있다.
• 이는 모델이 진정한 인과 관계를 학습하지 못하고, 단순히 부차적 패턴에 의존하게 되는 문제를 초래함.

 

Copycat Problem

• 운전은 시간적 연속성을 가지며, 과거의 움직임이 다음 행동을 예측하는 데 유용하다.
• 그러나 여러 프레임을 학습에 활용한 방법은 이러한 shortcut에 과도하게 의존하게 되어 배포 시 치명적인 실패를 겪을 수 있다.
• 더 많은 정보에 접근할수록 성능이 저하됨.

Imitation Learning

• 단일 입력 프레임을 사용하여 조향 예측을 수행함으로써 causal confusion을 피하고자 함.
• 현재 최첨단 모방 학습 방법에서도 선호되는 솔루션.
• 단일 프레임을 사용하는 것은 주변 행위자들의 움직임을 추출하기 어렵게 만든다.

Speed Measurement

예를 들어, 신호등이 빨간불일 때 정차해 있는 차량은 여러 프레임 동안 속도가 0인 상태에서 브레이크를 밟는 행동을 반복하게 된다. 이로 인해 차량의 행동이 속도와 매우 높은 상관관계를 가지게 되는데, 신호등이 빨간불에서 초록불로 바뀔 때에야 이러한 상관관계가 무너진다.

 

 

해결 방법

Adversarial Model

• bottleneck representation에서 spurious temporal correlations를 제거하기 위한 adversarial model 학습
• Adversarial Model: 자율 주행 차량의 과거 행동을 예측하도록 학습.
• min-max optimization: 네트워크가 중간 계층에서 adversarial model의 과거 정보를 제거하도록 학습.
• MuJoCo에서는 효과적이지만, 복잡한 vision-based driving에는 어려움.

OREO

• 이미지를 semantic object를 나타내는 discrete code로 매핑, 동일한 discrete code를 공유하는 유닛에 random dropout mask 적용.
• 이는 Atari 환경에서 혼란스러운 상황(confounded scenarios)을 해결하는 데 도움이 된다.

 

• ChauffeurNet: 과거 Ego-Motion을 중간 BEV 표현으로 활용, 훈련 중 50% 확률로 드롭아웃.
• Upweighting Keyframe: training loss에서 decision change에 발생하는 주요 keyframes의 가중치를 증가.
  (이러한 keyframe들은 과거를 extrapolate하여 예측할 수 없는 프레임)
• PrimeNet: single-frame 모델의 예측 결과를 multi-frame 모델에 추가 입력으로 제공하는 앙상블 방식을 사용하여, keyframe에 비해 성능 향상.
  - 동일한 접근법을 사용하나, action 대신 action residual을 사용하는 방법도 있음.
• LiDAR 사용: 단일 이미지와 LiDAR 데이터를 결합, point cloud를 하나의 좌표계로 재정렬.→ Ego-Motion 정보를 제거하면서 주변 차량의 상태 정보 유지.

현재 과제:

위 방법들은 causal confusion을 해결하기 위해 단순화된 환경에서 테스트되었으나, 최신 자율주행에서 성능 개선을 입증하는 것이 여전히 과제로 남아 있음.