[E2E 자율주행] (7)-6 Challenges: Interpretability

End-to-End Autonomous Driving과 관련된 다양한 게시물은
Introduction에서 확인하실 수 있습니다.

 

Interpretability

• 자율주행에서 중요한 역할.
• 엔지니어가 시스템을 더 잘 debug하게 해줌
• 사회적 관점(societal perspective)에서 performance 보장
• public acceptance 촉진.
• ‘black box’라고 불리는 E2E 자율주행에서 interpretability를 가진다는 것은, 필수적이고 중요한 과제.

Sliency map(중요도 맵)

• 훈련된 모델이 주어지면 X-AI 기법을 적용해 얻을 수 있음.
• 모델이 planning에 의존하는 visual input의 특정한 영역 강조
• 한정된 정보를 제공하고 효율성과 타당성(validity) 평가 어려움.
• model design에서 interpretability를 직접적으로 향상시키는 end-to-end frameworks에 중점.

 

Attention Visualization

어느 정도의 interpretability를 제공함.

• 학습된 attention weight를 적용하여 중간 feature map에서 중요한 feature 수집.
• attention weight: 다양한 object regeion or fixed grid의 ROI pooling features를 적응적으로 결합
• NEAT: 반복적으로 feature를 수집하여 attention weight를 예측하고 수집된(aggregated) feature를 정제함.
• Transformer attention block: 다양한 sensor input을 잘 용합하기 위해 사용.
• Attention map: 주행 결정을 위한 input의 중요한 영역을 보여줌.
• PlanT: attention layers가 다양한 차량에서의 feature를 처리하고, 해당 action에 대한 interpretable insight 제공.
• saliency method와 유사하게, attention map이 model이 집중하는 것에 대한 straightforward clues를 제공한다고 하더라도, 충실성과 유용성은 여전한 한계를 보임.

Interpretable Tasks

다양한 IL-based works는 latent feature를 policy prediction 외에도 다른 의미 있는 정보로 decoding하여 interpretability를 제공.

• semantic segmentation, depth estimation, object detection, affordance predictions, motion prediction, and gaze map estimation 등

이러한 방법들이 해석 가능한 정보를 제공하지만, 대부분은 auxiliary tasks로써 예측을 할 뿐, 최종 주행 결정에서 명시적인 impact는 없음.

최종 행동에 이러한 output을 사용하는 경우, 추가적인 안전 사항을 통합시켜야.

Rules Integration and Cost Learning

Inverse Optimal Cost에서처럼, cost learning-based 방식은 기존 모듈러 방식과의 유사성 공유을 공유하므로 일정 수준 이상의 interpretability를 나타냄.

• NMP & DSDNet: Detection & motion 예측 결과와 함께 cost volume 구성.
• P3: 예측된 semantic occupancy map, comfort, traffic rules constraints를 결합하여 cost function구성
• probabilistic occupancy and temporal motion fields, emergent occupancy, and freespace 등의 다양한 표현이 sampled trajectory를 점수화하는데 도움을 줌.

human expertise와 pre-defined rules가 명시적으로 포함되어 trajectory scoring을 형성하고 향상된 robustness와 안전성을 입증함

• pre-defined rules: perception&prediction의 결과에 기반을 둔 safety, comfort, traffic rules, and routes 등

Linguistic Explainability

Interpretability는 인간이 시스템을 이해하는데 도움을 주는 것이므로 자연어는 이 목적에 적합함.

• 운전 동영상 or 이미지와 descriptions/explanation을 결합한 데이터셋 개발하고, control & explanation을 모두 갖춘 end-to-end 모델 제안
• 최근, decision 관련 설명을 제공하기 위해 LM/VLM을 사용해 multi-modality와 foundation model의 발전에 의존함. (Language as input 다시 보면 좋을듯)
• BEEF: 예측된 trajectory와 중간 perception feature를 융합하여 결정의 정당성 예측
• ADAPT: action, narration, reasoning을 공통으로 추정하는 Transformer-based network를 제안

 

Uncertainty Modeling

딥러닝 모델의 출력 신뢰도를 정량적으로 해석하는 접근법.

불확실성을 분석하면 설계자와 사용자가 개선이나 개입이 필요한 사례를 식별할 수 있다.

Aleatoric Uncertainty (우연적 불확실성):

작업 자체에 내재된 불확실성.

처리 방법:

• 불확실성을 네트워크의 예측 변수로 설정해 운전 행동/경로 계획을 모델링.
• 불확실성에 따라 최종 행동을 결정:
  • 여러 행동 중 가장 낮은 불확실성을 선택.
  • 불확실성을 기반으로 가중치를 부여해 행동을 결합.

Epistemic Uncertainty (지식적 불확실성):

• 제한된 데이터 또는 모델의 한계로 인한 불확실성.

처리 방법:

• 모델에서 확률적 정규화(stochastic regularization)를 사용해 다중 추론을 수행해 불확실성을 측정(단, 실시간에는 비효율적).
• 전문가 모델 앙상블을 사용해 불확실성을 집계하고 안전한 경로 계획 수행(Loquercio et al., Filos et al.).

현재 과제:

불확실성은 주로 하드코딩된 규칙과 결합해 사용되며, 자율주행에 적합한 더 나은 불확실성 모델링 및 활용 방법의 탐구가 필요함.