9._.coding

[Paper] ParkingE2E: Camera-based End-to-end Parking Network, from Images to Planning

구코딩 — Thu, 13 Feb 2025 17:10:07 +0900

BEV & Transformer Decoder 이용한 Imitation Learning 기반 End-to-end Parking

RGB 영상과 target slot으로부터 BEV 특징을 추출
Transformer 기반 디코더를 이용하여 trajectory points 예측
Imitation learning을 활용하여 RGB 영상에서 직접 path planning을 수행

Target query encoder

입력 영상과 목표 주차 공간(feature)을 융합하여 주차 공간을 인식하는 기능을 수행합니다.
BEV 특징을 활용한 높은 예측 정확도

Transformer-based decoder

autoregressive 방식을 사용하여 미래의 waypoints 순차적 예측.

Contributions

End-to-end network 설계
- surround-view images을 BEV feature로 변환
- Target parking slot feature를 image feature과 결합하여 주차 공간 감지 성능을 향상.
- Trajectory prediction이 순차적인 특성을 가지므로, Transformer 기반의 autoregressive 접근 방식을 활용
실제 차량 실험 및 검증
- real vehicle을 통해 다양한 real-world scenario에서 테스트 수행.
- 모델의 실제 환경에서의 타당성 및 일반화 성능을 검증했으며, 실용적인 적용 가능성 입증.
- 총 4개의 실제 주차장에서 평균 87.8%의 주차 성공률을 기록

Related Work

BEV Perception

다양한 센서 데이터를 쉽게 통합

BEV는 명확한 물리적 해석이 가능하여, 여러 가지 센서 데이터를 효과적으로 융합.

원근 왜곡 문제를 방지하여 후속 작업의 복잡도를 줄임

거리나 크기 왜곡을 방지하여 경로 계획 등의 후속 작업을 단순화함.

구성

기존 perception의 feature extraction module과 task head module에 더해 viewpoint conversion module을 추가적으로 포함.
이 변환 모듈을 통해 센서 뷰에서 BEV 뷰로 변환

BEV-based models

LSS (Lift-Splat-Shoot)
- BEV를 활용한 Object Detection & segmentation 수행
- 각 픽셀의 depth distribution 추정한 후, 이를 BEV 평면으로 투영하여 BEV 특징을 획득
DETR3D
- DETR(Deformable Transformer) 기반 3D object detection model
- 3D 공간에서 Sparse Queries를 사용하여 객체를 인식
PETR (Position Embedding Transformation for 3D Perception)
- 3D 위치 정보를 2D 특징에 추가하는 3D positional embedding 적용
- 네트워크가 depth 정보를 암묵적으로 학습하도록 유도
BEVFormer
- BEV Queries 사용하여 객체를 탐지
- spatial cross-attention과 temporal self-attention을 결합하여 성능을 향상
BEVDepth
- LSS 방식을 기반으로 LiDAR 데이터를 활용하여 깊이 추정을 강화
- 학습 과정에서 LiDAR 포인트를 이용해 깊이 정보를 supervision하여 BEV 인지 성능을 향상
BEVFusion
- 카메라와 LiDAR 데이터를 BEV 공간에서 fusion
- 다중 센서 데이터를 효과적으로 결합하여 강력한 BEV 특징을 생성

End-to-end Autonomous Driving

Perception, Prediction, Path planning을 하나의 신경망으로 통합하여 공동 최적화를 수행

기존 모듈 기반 시스템에서 발생하는 누적 오류를 줄일 수 있음.

Urban Driving

ChauffeurNet
- 전문가 데이터를 학습하는 imitation learning 기반 엔드투엔드 방법
- 효과적인 주행 전략 학습
TransFuser, InterFuser, NEAT
- BEV 특징을 추출하는 인코더-디코더 구조 활용
- GRU 디코더를 사용해 경로점을 autoregressive manner로 예측
CIL, CILRS
- 전방 이미지, 차량 상태 정보, 내비게이션 명령을 입력하여 직접 제어 신호를 생성하는 신경망
- 별도의 PID 제어기가 필요하지 않음
MP3, UniAD
- 모듈형 설계를 따르지만, 모든 모듈을 엔드투엔드 방식으로 공동 최적화

E2E parking

Vision and Dead Reckoning-based End-to-End Parking for Autonomous Vehicles
- 1단계: steering angle 시퀀스를 예측
- 2단계: LSTM 네트워크를 활용하여 최적의 조향각과 기어 변속을 예측
An end-to-end fully automatic bay parking approach for autonomous vehicles
- rear-view images 활용하여 CNN 기반 조향각 및 속도 제어 모델 학습
ParkPredict
- CNN-LSTM 구조를 활용하여 Parking slot & waypoints 예측
- aerial imagery 기반.
ParkPredict+
- Transformer와 CNN을 결합한 모델
- 차량의 의도(intent), 영상, historical trajectory 정보를 활용한 예측 모델 설계

Limiatations

고성능 연산 자원 필요
학습 과정이 복잡
실제 차량 적용이 어려움

Method

Problem Definition

Dataset

$\mathcal{D} = \{(I_{i,j}^k, P_{i,j}, S_i)\}$

$i \in [1, M]$: trajectory index
$j \in [1, N_i]$: trajectory point index
$k \in [1, R]$: camera index
- $R$: RGB camera의 개수
$P$: trajectory point
$S$: target slot

Reorganize the dataset

$\mathcal{D}' = \{(I_{i,j}^k, \mathcal{T}_{i,j}, S_i)\},$

$\mathcal{T}{i,j} = \{P{i,\min(j+b, N_i)}\}_{b=1,2,\dots,Q},$
- $\mathcal T_{i,j}$: sampled trajectory subset
- 주어진 경로 $i$에서 특점 시점 $j$를 기준으로 앞으로 $Q$개의 trajectory point를 가져오는 과정
- 경로의 끝을 넘지 않도록 $N_i$ 설정.
$Q$: predicted trajectory points의 길이

end-to-end network의 optimization goals

$\theta' = \displaystyle \argmin_{\theta} \mathbb{E}{(I, \mathcal{T}, S) \sim \mathcal{D}'} \left[\mathcal{L}(\mathcal{T}, \mathcal{N}\theta(I, S))\right]$

$\mathcal L$: loss function
$\mathcal N_\theta$: expert trajectory를 imitation learning하는 end-to-end neural network

Camera-based End-to-end Neural Planner

Overview

RGB 영상과 목표 주차 공간을 입력으로 받아, 두 가지 주요 구성 요소로 작동:

Input Encoder
- RGB 영상을 BEV feature로 변환
Autoregressive Trajectory Decoder
- BEV 특징과 목표 주차 공간 정보를 융합
- transformer decoder를 활용하여 다음 궤적 점을 순차적으로 예측(autoregressive 방식)

Encoder

RGB image → BEV 변환, Target slot 정보와 결합하여 feature 추출

BEV 형식으로 인코딩하여 사용.
주변 환경을 top-down 방식으로 보여주어, ego-vehicle이 주차 공간, 장애물, 도로 표시 등 쉽게 감지
다양한 주행 시점에서도 일관된 시각적 표현을 제공하여 궤적 예측의 복잡성을 줄이는 역할.

Camera Encoder

EfficientNet을 활용하여 RGB image feature $\mathcal{F}{img} \in \mathbb{R}^{C \times H\text{img} \times W_\text{img}}$ 추출.
LSS(Lift, Splat, Shoot) 활용하여 depth distribution ($d_{dep} \in \mathbb{R}^{D \times H_\text{img} \times W_\text{img}}$)을 학습하고, 이를 통해 픽셀을 3D 공간으로 변환
예측된 깊이 정보를 이미지 특징과 곱하여 깊이 정보를 포함한 특징을 생성
카메라의 extrinsics & intrinsics parameter를 이용해, BEV grid에 image feature를 projection하여 BEV 공간의 camera feature($F_{cam}$) 생성
- BEV feature의 range: $[-R_x, R_x]m, \; [-R_y, R_y]m$
$\mathcal{F}{cam} \in \mathbb{R}^{C \times H\text{cam} \times W_\text{cam}}$

Target Encoder

camera feature와 target slot 정보를 정렬하기 위해, BEV 공간에서 목표 주차 공간의 heatmap 생성
CNN을 사용하여 target slot feature**($\mathcal F_{target}$)을 추출 →** $\mathcal F_{cam}$과 동일한 차원으로 변환
훈련 과정에서, 목표 주차 공간은 인간 운전자의 주차 궤적의 끝점으로 결정됨

Target Query

camera feature($\mathcal F_{cam}$)과 target feature($\mathcal F_{target}$)을 BEV 공간에서 정렬
cross-attention을 이용하여 목표 특징을 기반으로 카메라 특징을 검색(query)
Positional Encoding 활용하여 공간적 대응 관계를 유지하며 특징을 정렬
$\mathcal F_{target}$을 query, $\mathcal F_{cam}$을 key&value로 사용하여 attention 수행 → fused feature $\mathcal F_{fuse}$ 생성

Decoder

Transformer 디코더를 활용한 sequence prediction 문제로 접근

autoregressive 방식으로 한 단계씩 trajectory 예측
low-dimensional trajectory points와 고차원 image features 효과적으로 결합
trajectory point $(P^x_{i,j}, P^y_{i,j})$ 예측

Trajectory Serialization

Trajectory points를 discrete tokens로 변환하는 과정
이러면 position regression 문제를 token prediction 문제로 변환할 수 있음.

$\text{Ser}(P^x_{i,j}) = \left\lfloor \cfrac{P^x_{i,j} + R_x}{2R_x} \right\rfloor \times N_t, \quad \text{Ser}(P^y_{i,j}) = \left\lfloor \cfrac{P^y_{i,j} + R_y}{2R_y} \right\rfloor \times N_t,$

$Ser( \cdot)$: serializing trajectory points
$N_t$: 시퀀스에서 인코딩할 수 있는 max token value
$R_x, R_y$: x축과 y축 방향에서 예측할 수 있는 최대 범위.

Trajectory의 i번째 sequence는 아래와 같이 표현.

$[\text{BOS}, \text{Ser}(P^x_{i,1}), \text{Ser}(P^y_{i,1}), \dots, \text{Ser}(P^x_{i,N_i}), \text{Ser}(P^y_{i,N_i}), \text{EOS}]$

BOS: sequence 시작 토큰
EOS: sequence 종료 토큰

Trajectory Decoder

BEV features를 Key & Value로 사용
serialized trajectory sequence를 Query로 사용
트랜스포머 디코더를 이용해 autoregressive으로 trajectory point 생성

Training

Positional Embedding을 추가하여 시퀀스 간 공간적 관계를 유지
unknown information에 대해 masking을 적용하여 병렬 연산 가능하게 설계

Inference

BOS(Start Flag) 토큰이 주어지면
트랜스포머 디코더가 다음 trajectory point를 예측
예측된 점을 시퀀스에 추가한 후 반복 수행
EOS(End Flag) 토큰이 나오거나, 지정된 궤적 점 개수에 도달하면 종료

Lateral and Longitudinal Control

주차 시작 시점을 $t_0$으로 정의
end-to-end neural planner: predicted trajectory $\mathcal{T}{t_0} = \mathcal{N}{\theta'}(\mathbf{I}_{t_0}, S)$ 생성.
- $\mathbf{I}_{t_0}$: input
- $S$: target parking slot
$ego_{t_0 \to t}$: Localization system을 통해 얻은 차량이 $t_0$에서 현재 시점 $t$까지 이동한 relative pose
Target steering angle $\mathcal{A}t^{tar} = \text{RWF}(\mathcal{T}{t_0}, ego{t_0 \to t}).$
- RWF, Rear-Wheel Feedback 방식을 이용하여 계산.
- predicted trajectory $\mathcal T_{t_0}$와 relative pose $ego_{t_0 \to t}$ 사용.
섀시에서 speed feedback $\mathcal V^{feed}$와 steer feedback $\mathcal A^{feed}$ 수집
- target speed $\mathcal V_{tar}$과 target steering angle $\mathcal A^{tar}_t$을 사용해
- cascade PID controller 사용해 lateral&longitudinal control 수행
새로운 예측 경로 생성: $\mathcal T_{t_0}$, $ego_{t_0 \to t}$ 초기화
- global localization에 의존하지 않고 주차 가능.

Experiments

Dataset Collection

surround-view camera를 활용하여 RGB 이미지를 캡처함.
차량 주변의 360도 시각 정보를 확보하여, 더 넓은 범위에서 주차 환경을 인식 가능하도록 설계됨.
Dead Reckoning 기법 활용
이를 통해 차량의 강건하고 정확한 위치(localization) 를 실시간으로 추정함.

ground garages underground garages → generalization capability 향상
Garage I&II: training에 사용.
Garage II&IV: training에 사용.

Implementation Details

프레임워크: PyTorch
GPU: NVIDIA GeForce RTX 4090
Batch Size: 16
총 학습 시간: 약 8시간 (40,000 프레임)
테스트 데이터 크기: 5,000 프레임
Input data
- 서라운드 뷰 카메라 4대(R=4)에서 촬영된 이미지 사용
- target parking slot은 주차 종료 지점의 특정 포인트를 기준으로 결정
- trajectory sequence points를 활용해 모델의 예측 결과를 지도 학습
target parking slot selection: RViz software "2D-Nav-Goal"
경로 예측
- 입력: 서라운드 뷰 카메라 이미지 + 목표 주차 공간
- 출력: n개의 미래 경로 포인트를 autoregressive manner으로 예측
controller: 경로 계획 결과, 차량 위치(ego pose), 피드백 신호 를 이용해 주차 수행
좌표 체계 통일
- 목표 지점과 예측된 경로 포인트의 좌표는 vehicle coordinate frame 기준으로 표현
- global coordinate frame에 의존하지 않음

Neural Network Details

BEV 특징 맵(BEV features)
- 크기: 200 × 200
- 실제 공간 범위: x 방향 $[-10m, 10m]$, y 방향 $[-10m, 10m]$
- 해상도: 0.1m 단위
Transformer 디코더 설정
- trajectory serialization의 최대 값 $N_t = 1200$
- 생성하는 예측 시퀀스 길이 = 30
- 이 설정을 통해 정확도와 속도 균형 최적화

Evaluation Metrics

1) Model Trajectory Evaluation

모델을 실제 환경에서 실험하기 전에, 성능을 분석하기 위한 평가 지표를 설계함.

L2 Distance
- 예측 궤적과 실제(ground-truth) 궤적 간의 평균 유클리드 거리.
- 모델의 정확도(precision)와 정밀도(accuracy) 평가.
Hausdorff Distance
- 두 점 집합 간 최소 거리들의 최댓값을 측정.
- 예측 궤적이 실제 궤적과 얼마나 잘 일치하는지 평가.
Fourier Descriptor Difference
- 푸리에 서술자를 사용하여 예측 및 실제 궤적을 벡터로 변환한 후 차이를 측정.
- 값이 낮을수록 두 궤적 간 차이가 작음을 의미.

2) End-to-end Real-vehicle Evaluation

실제 차량 실험에서 자율 주차 성능을 평가하는 지표.

Parking Success Rate, PSR
- 목표 주차 공간에 차량이 성공적으로 주차될 확률.
No Slot Rate, NSR
- 지정된 주차 공간에 주차하지 못한 비율.
Parking Violation Rate, PVR
- 차량이 지정된 주차 공간을 약간 벗어났지만, 다른 공간을 방해하지 않은 경우의 비율.
Average Position Error, APE
- 차량이 성공적으로 주차되었을 때, 목표 주차 위치와 실제 정지 위치 간 평균 거리 차이.
Average Orientation Error, AOE
- 차량이 성공적으로 주차되었을 때, 목표 주차 방향과 실제 정지 방향 간 평균 각도 차이.
Average Parking Score, APS
- 위치 오류, 방향 오류, 주차 성공률을 종합 평가한 점수 (0~100점 범위).
Average Parking Time, APT
- 주차 모드가 시작된 시점부터 차량이 지정된 공간에 완전히 주차되거나 실패할 때까지 걸리는 시간.

Quantitative Results

4개의 서로 다른 주차장에서 폐쇄 루프 차량 테스트(closed-loop vehicle tests) 를 수행하여 제안된 시스템의 성능을 검증

Scene A: 좌우에 장애물이 없는 상태에서 주차
Scene B: 좌측 또는 우측에 차량이 있는 상태에서 주차
Scene C: 벽이나 기타 장애물이 있는 상태에서 주차
각 시나리오에서 무작위로 3개의 주차 슬롯 선택
각 슬롯에 대해 좌측 및 우측 방향으로 약 3회씩 주차 테스트 수행

3. 실험 결과

제안된 방법은 다양한 시나리오에서 높은 주차 성공률을 기록
강력한 주차 성능(robust parking capability) 을 보여줌

기존 방법과 비교

최근 엔드투엔드 자율주행(End-to-End Autonomous Driving) 기법들이 등장했지만, 대부분 도시 주행(Urban Driving) 문제 해결에 초점
ParkPredict [20] 같은 방법이 주차에 활용되긴 하지만, 본 연구의 접근 방식과는 과제(task)가 다름
기존 연구 중 제안된 방법과 직접적으로 비교할 수 있는 효과적인 엔드투엔드 방법은 없음

2. Transformer 기반 디코더 vs GRU 기반 디코더 (Transfuser)

Table II에서 Transformer 기반 디코더(제안된 방법)와 GRU 기반 디코더(Transfuser) 비교
Transformer 기반 디코더는 Attention Mechanism 덕분에 예측 정확도가 더 우수

Ablation Study

1. 실험 목적

다양한 네트워크 구조(Network Designs) 가 모델 성능에 미치는 영향을 분석
특히, 특징 융합(Feature Fusion) 방법 에 대한 실험 수행

2. 실험 방법

Table III에서 서로 다른 특징 융합 방법을 비교
비교 대상:
1. Baseline (Target Query)
2. Feature Concatenation (특징 벡터 단순 연결)
3. Feature Element-wise Addition (특징 벡터 요소별 합)

3. 결과 분석

Target Query 방식이 가장 높은 경로 예측 정확도(Trajectory Prediction Accuracy) 를 달성
이유:
- Attention 메커니즘 및 공간 정렬 기법(Spatial Alignment Mechanism) 활용
- 목표 주차 슬롯(Target Slot)과 BEV 이미지 간의 공간적 관계를 명확하게 반영
- BEV 특징과 목표 특징을 효과적으로 통합하여 최적의 성능 도출
Table II에서 Transformer 기반 디코더(제안된 방법)와 GRU 기반 디코더(Transfuser) 비교
Transformer 기반 디코더는 Attention Mechanism 덕분에 예측 정확도가 더 우수

Limitations

Moving Targets에 대한 적응력 부족

데이터 규모(Data Scale) 및 시나리오 다양성(Scenario Diversity) 제한으로 인해 적응력이 낮음
데이터셋 확장을 통해 개선 가능

Negative Samples 부족

Expert Trajectories 만을 학습하여, 효과적인 부정 샘플 제공이 불가능
주차 과정에서 큰 편차 발생 시 보정 메커니즘 부족 → 주차 실패 가능성 증가

Rule-Based 주차 방법과의 성능 차이

기존 규칙 기반 방식보다 성능이 부족한 부분 존재
하지만, 엔드투엔드 기술이 발전함에 따라 해결될 것으로 기대

Future Work

Deep Reinforcement Learning

NeRF & 3D Gaussian Splatting 이용해 실제와 유사한 시뮬레이터 구축
이를 통해 엔드투엔드 모델을 강화학습으로 학습하여 성능 향상 기대

복잡한 시나리오에서의 성능 개선

엔드투엔드 기술이 발전할수록 복잡한 주차 환경에서도 기존 규칙 기반 방법을 뛰어넘는 성능 가능성

[Paper] LMDrive: Closed-Loop End-to-End Driving with Large Language Models

구코딩 — Fri, 7 Feb 2025 14:39:51 +0900

Language-guided Closed-loop End-to-end Driving Framework

Multi-modal sensor data를 natural language instruction과 통합하여 처리
인간 및 내비게이션 소프트웨어와의 상호작용이 가능한 현실적인 지시 환경을 구현
64,000개의 instuction 수행 데이터 클립을 포함한 공개 데이터셋 & LangAuto 벤치마크를 함께 제공

LLM models for Autonomous Driving

자연어를 이해할 수 있다면 복잡한 환경에서의 고급 추론과 인간과의 효율적인 상호작용 가능.

복잡한 도심 환경 및 돌발 상황 대처
- 복잡한&돌발 상황 어려움 → 승객이나 내비게이션의 지시를 따라 보다 쉽게 해결.
Instruction 반영
- 작은 물체 감지 한계 → 승객이 직접 지시를 내릴 수 있어 보다 유연한 대응 가능

기존 연구의 한계

LLM-Driver, DriveLM, GPT-Driver, LanguageMPC 등

LLM이 센서 데이터 및 내비게이션 명령을 텍스트 설명으로 변환
텍스트를 LLM에 입력하여 주행 결정을 생성
텍스트 기반 주행 결정을 실행 가능한 제어 명령으로 변환

한계:

서로 다른 LLM이 개별 작업을 수행하기 때문에 end-to-end 학습이 어렵다.
대규모 데이터와 확장성에 한계가 있다.
센서 데이터의 오류에 취약

LMDrive

이는 자연어 기반 지시를 따르는 멀티모달 LLM 모델로, end-to-end closed-loop 자율 주행을 구현

기능 수행:

카메라-라이다(CAMERA-LiDAR) 센서 데이터를 입력받음
자연어 기반 내비게이션 및 주행 지시를 이해함
직접 차량 제어 신호를 생성하여 실시간 주행 수행

적용:

사전 학습된 LLM을 freeze하여 기존의 추론 능력을 보존
카메라-라이다 데이터 인코더 및 학습 가능한 입출력 어댑터 적용
주행 태스크에 특화된 사전 학습 전략 도입

Contributions

엔드 투 엔드 폐쇄 루프 언어 기반 자율 주행 프레임워크 LMDrive를 제안
- 멀티모달 센서 데이터와 자연어 명령을 활용하여 실시간 주행 가능
64K 데이터 클립을 포함한 주행 데이터셋 구축
- 클립당 내비게이션 지시, 보조 지시, 멀티모달 센서 데이터 및 제어 신호 포함
LangAuto 벤치마크 제공
- 잘못된/복잡한 지시 포함 및 도전적인 주행 시나리오 반영
광범위한 폐쇄 루프 실험을 통해 프레임워크의 효과 검증
- LMDrive의 성능 분석 및 추가 연구를 위한 insight 제공

Dataset Generation

Intelligent Driving Agent를 개발하여 세 가지 입력을 기반으로 driving action 생성

Multi-view Camera&LiDAR: 현재 Scene을 인식하고 준수하는 행동 생성.
Navigation Instructions: 차선 변경, 회전 등 자연어 명령 기반 주행.
- 인간 또는 네비게이션 소프트웨어의 지시를 이해하고 수행.
Human Notice Instruction: 사용자와 상호작용하며 선호도에 맞게 적응.
- adversarial events, long-tail events 대처 가능.

CARLA Simulator: 실제와 유사한 동적 폐쇄 루프 환경을 시뮬레이션.
두 단계로 데이터 수집 진행
1. 전문가 에이전트(Expert Agent)로 센서 및 제어 데이터 수집.
2. 수집된 데이터를 네비게이션 및 사용자 지시와 매칭하여 라벨링.

Sensor and Control data collection

Rule-based Expert Agent 활용.
약 300만(3M) 주행 프레임 데이터 생성.
8개 Towns, 2.5K개 Routes, 21가지 환경 조건(날씨, 시간대 포함)에서 실행.
센서 구성
- RGB 카메라 4대 (좌측, 전면, 우측, 후면).
- LiDAR 1대 (64채널, 초당 60만 개 포인트 생성).
- 측면 카메라는 각각 60° 기울어짐.
- 전면 이미지는 center-crop하여 원거리 신호등 상태 감지용 Focus-view 생성.

Parsing and language annotation

수집된 데이터 → 개별 주행 Clip으로 parsing&labeling

각 클립은 하나의 Navigation Instruction과 연관됨.

예: 프레임 T0에서 좌회전 시작 → 프레임 Tn에서 완료
$(T_0, T_n)$ 구간을 "다음 교차로에서 좌회전하세요"로 라벨링.

Adversarial Event 발생 시 Notice Instruction 추가

Ex) 돌발 상황이 프레임 Ta에서 발생 → 승객이나 보조 시스템이 경고 메시지를 제공
결과적으로, 각 클립에는 다음 요소 포함
- 센서 데이터, 제어 신호, 네비게이션 명령, 선택적 Notice Instruction.

데이터 규모:

64K(64,000)개의 Clip
464K(464,000)개의 Notice Instruction

Instruction design

3가지 네비게이션 명령 유형: Follow / Turn / Others
1가지 Notice Instruction 유형 포함
총 56가지 명령어(Instruction) 사용

Realistic instructional settings

Diversifying the Instructions - 동일한 의미라도 다양한 표현 방식 적용.
- ChatGPT API를 활용하여 각 instruction 유형당 8개 변형 생성.
Incorporating Misleading Instructions - 오류 명령을 포함하여 모델의 Robustness 향상.
- Ex) 단일 차선 도로에서 “Change to left lane” 명령은 위험.
Connecting Multiple Instructions - 다중 명령 수행 가능하도록 데이터 구성.
- “Turn right at this intersection, then go straight to the next intersection and turn right again.

Instruction design

3가지 네비게이션 명령 유형: Follow / Turn / Others
1가지 Notice Instruction 유형 포함
총 56가지 명령어(Instruction) 사용

Realistic instructional settings

Diversifying the Instructions - 동일한 의미라도 다양한 표현 방식 적용.
- ChatGPT API를 활용하여 각 instruction 유형당 8개 변형 생성.
Incorporating Misleading Instructions - 오류 명령을 포함하여 모델의 Robustness 향상.
- Ex) 단일 차선 도로에서 “Change to left lane” 명령은 위험.
Connecting Multiple Instructions - 다중 명령 수행 가능하도록 데이터 구성.
- “Turn right at this intersection, then go straight to the next intersection and turn right again.

Methodology

Vision Encoder

multi-view&multi-modality를 설계하여 센서 데이터를 encoding&fusion → visual token 생성

sensor encoding 모듈: 이미지 및 LiDAR 입력을 각각 인코딩한다.
BEV decoder: image &point cloud feature을 융합하여 visual tokens을 생성 → 언어 모델로 전달
prediction heads: perception 태스크에 pre-training → LLM 결합을 위해 encoder의 weight는 frozen

Sensor Encoding

이미지 입력:

2D Backbone: ResNet - image feature map 추출
1차원 flattened tokens으로 변환.
여러 개의 view에서 얻은 토큰을 융합(fuse)하여 global context를 포괄적으로 이해할 수 있도록 한다.
이를 위해, $K_{enc} = 1$개의 Transformer encoder layer 적용.
각 레이어는 Multi-Headed Self-Attention, MLP block, Layer Normalization 포함.

LiDAR 입력:

3D Backbone: PointPillars - raw point cloud 데이터 처리
각 pillar: 0.25m × 0.25m 범위 내의 포인트를 포함하며, ego-centered LiDAR features 생성
PointNet 사용하여 feature aggregate & downsample C×H×W 크기의 feature map 생성
이후 BEV query로 사용.

BEV Decoder

encoding된 sensor features을 BEV decoder에 전달하여 visual tokens 생성
$K_{dec} = 3$ 개의 표준 Transformer 레이어로 설계.
BEV point cloud features: H × W 크기의 queries로 BEV 디코더에 입력
multi-view image feature와 상호작용(attend)하여 BEV tokens 생성.
N개의 learnable queries를 BEV 디코더에 추가하여 N개의 waypoint 토큰을 생성하고,
1개의 학습 가능한 쿼리를 추가하여 traffic light token 생성.
세 가지 유형의 시각 토큰(BEV, waypoints, traffic lights)을 LLM)에 입력

세부사항

ResNet의 5번째 스테이지를 feature map으로 사용.
이후, MLP 레이어를 적용하여 해당 차원을 Q-Former의 입력 차원과 동일하도록 768로 변환
LiDAR Point Cloud Data 인코딩을 위해 PointNet 단순화 버전 사용.
Q-Former로 입력되는 시각 토큰(Visual Tokens) 구성
- 400개의 BEV 토큰
- 5개의 미래 웨이포인트(Future Waypoint) 토큰
- 1개의 교통 신호(Traffic Light) 토큰

LLM for instruction-following auto driving

Tokenizer, Q-Former, Adapters를 통해 시각 토큰과 언어 지시를 입력받아 제어 신호를 예측하고, 주어진 지시가 완료되었는지 판단한다.

LLaMA 사용

LLM은 frozen된 Vision Encoder가 생성한 센서 토큰을 처리
자연어 지시를 이해, 필요한 control signal 생성, 주어진 지시가 완료되었는지 예측

구성요소 추가

LLM과 instruction, visual input, action prediction 간의 연결을 위해.

Tokenizer
Q-Former
어댑터(Adapters) 두 개

Instruction and Visual Tokenization

navigation instruction & optional notice instruction이 주어지면, LLaMA tokenizer를 사용하여 textual tokens으로 변환한다.
cumulative error 줄이고 temporal consistency 높이기 위해, $T_{max}$ 개의 과거 센서 정보를 활용
각 프레임의 multi-view 및 multi-modality 센서 입력을 처리
- 사전 학습된 비전 인코더를 사용하여 visual tokens 생성.
- H × W 크기의 BEV 토큰
- N개의 waypoint 토큰
- 1개의 traffic light 토큰
Visual Token을 줄이기 위해, BLIP-2의 Q-Former를 사용
- BLIP-2의 모델 아키텍처 및 pre-trained weights 활용.
- M개의 learnable queries를 사용하여 visual token을 cross-attention layer 통해 압축.
- 각 프레임의 visual token 수를 M개로 감소.
- 2-layer MLP Adapter: Q-Former가 생성한 토큰을 LLM 언어 토큰과 동일한 차원으로 변환&입력

Action Prediction

instruction & visual token의 sequence를 바탕으로 action tokens 예측
2-layer MLP 어댑터를 사용하여 미래 waypoints 예측, 주어진 지시가 완료되었는지 나타내는 flag를 출력
Training: 각 과거 프레임에 대한 예측을 수행하여 supervision signal를 강화
inference: 최신 프레임에 대한 예측만 실행
control signal 생성하기 위해 LBC 방식을 따라 두 개의 PID 컨트롤러 활용.
- 가로 방향(latitudinal) 제어: 차량의 진행 방향을 조정
- 세로 방향(longitudinal) 제어: 차량의 속도를 조정

Training Objectives

LLM 및 관련 구성 요소를 finetuning할 때, 두 가지 loss terms 사용.

L1 Waypoint Loss
분류 손실(Classification Loss, Cross-Entropy): 현재 프레임이 주어진 지시를 완료했는지 여부를 판별

Training Details

1) Vision Encoder Pre-training Stage

비전 인코더만 single frame의 센서 데이터를 입력으로 받아 학습.
학습 데이터셋은 섹션 3에서 수집된 데이터를 활용한다.
Instruction annotation 과정에서 일부 프레임이 제거될 수 있어 raw dataset의 약 300만 개(3M frames) 프레임 데이터를 사용하여 사전 학습.
Prediction Headers: Object Detection, Traffic Light Status Classification, Future Waypoint Prediction pre-training

Settings

AdamW optimizer + Cosine Learning Rate Scheduler
Learning Rate
- Transformer Encoder & 3D Backbone: $\frac{\text{BatchSize}}{512} \times 5e^{-4}$
- 2D Backbone: $\frac{\text{BatchSize}}{512} \times 2e^{-4}$
총 35 에포크(epoch) 학습, 초기 5 에포크는 웜업(Warm-up).
Augmentation: RGB 이미지에 random scaling(0.9~1.1) & Color Jittering

2) Instruction-finetuning Stage

Q-Former&Adapters만 학습
sequence of frames 입력, 훈련 시에는 고정된 Tmax 시퀀스 길이를 설정하여 batch 데이터 구성.
instruction-following 데이터 사용.
vision encoder:
- freeze & prediction headers 제거
- visual token을 생성하여 LLM에 입력하는 역할 수행

Settings

Cosine Learning Rate Scheduler
Batch Size = 32일 때, Learning Rate = $e^{-4}$
총 15 epoch 학습, 초기 2000 iteration 동안 Warm-up 적용.
Weight Decay = 0.07 설정.
최대 기록 가능한 과거 프레임 수 (Maximum Historic Horizon, TmaxT_{\text{max}}Tmax) = 40
- 데이터 클립이 40 프레임을 초과하면 최근 40 프레임만 유지하여 학습.

Misleading Instructions 학습

잘못된 지시를 거부할 수 있도록.
잘못된 지시가 주어진 후 약 1초 뒤 해당 데이터를 ‘completed’로 레이블링.

Temporal data sampling & augmentation

데이터 수집 frequency는 약 10Hz로, 인접한 프레임들의 데이터가 매우 유사할 가능성이 크다.
video prediction 기법을 참고하여, fixed interval로 훈련 프레임 샘플링
temporal augmentation을 적용하여,
- 훈련 프레임 random shift
- 이동 범위는 고정된 샘플링 간격보다 작도록 설정하여 모델 일반화 향상.

첫번째&두번째: 모델이 각각의 지시에 따라 다른 웨이포인트를 예측.

세 번째: 잘못된 지시. 적절히 거부하여 속도를 줄이고 상황에 맞는 안전한 경로를 생성.

LangAuto Benchmark

Language-guided Instructions을 사용한 자율 주행 성능 평가 CARLA 벤치마크

기존 CARLA 벤치마크: Discrete Driving Commands 또는 Target Waypoints 통해 주행 유도.

오직 Natural Language Navigation Instructions & 선택적 Notice Instructions만 제공.

8개 CARLA Town
7 Weather Conditions: Clear, Cloudy, Wet, MidRain, WetCloudy, HardRain, SoftRain.
3 Time Conditions: Night, Noon, Sunset.

LangAuto track

주어진 Route에 따라 Navigation Instructions 제공.
차량의 현재 위치에 따라 지침이 업데이트됨.
경로 길이에 따라 Sub-tracks으로 나뉨:
- LangAuto: 500m 이상 긴 경로.
- LangAuto-Short: 150m~500m 중간 길이 경로.
- LangAuto-Tiny: 150m 이하의 짧은 경로.

LangAuto-Notice track

LangAuto track에 추가적으로 Notice Instructions를 제공.
현실에서 승객이나 보조 시스템이 제공하는 긴급 상황 알림을 시뮬레이션.
long-trail complex or adversarial scenarios에서 발생
adversarial events 발생 시 공지(notice instructions) 제공
AI 에이전트가 공지 정보를 실시간으로 활용하여 충돌 및 교통법규 위반 감소 (안전성 향상).

LangAuto-Sequential track

LangAuto 트랙을 기반으로 10%의 연속된 2~3개의 지시문을 하나로 합침.
현실적인 다중 문장 네비게이션 시나리오를 반영.

Misleading Instructions

AI가 잘못된 지침을 따르지 않고 안전한 판단을 내리는지를 테스트.
약 5%의 확률로 1~2초 동안 잘못된 지시문이 제공됨.

Metrics

Route Completion (RC): 전체 경로 길이 중 완료된 비율을 나타냅니다.
Infraction Score (IS): 에이전트가 발생시킨 위반 사항(충돌 또는 교통 법규 위반)을 측정.
Driving Score (DS): RC와 IS의 곱으로, 주행 진행 상황과 안전성을 종합적으로 평가

Experiments

LangAuto 벤치마크에서 제안된 방법을 CARLA 시뮬레이터(버전 0.9.10.1)에서 구현&평가

LLM Backbones

사전 학습된 멀티모달 LLM을 활용하는 것이 자율주행에서 중요함.
인스트럭션 파인튜닝이 성능 향상에 기여
랜덤 초기화된 7B LLM 모델은 훈련 데이터가 같아도 제대로 주행하지 못함 → 사전 학습 및 파인튜닝의 필요성 증명.

Module Design

Q-Former 제거: BEV 토큰 수를 줄이지 않고 4×4로 다운샘플링 - Driving Score 36.2 → 31.7
BEV 토큰 미사용: 장애물 및 도로 구조 인식이 어려워져 Infraction Score 0.81 → 0.72
비전 인코더 사전 학습 미실시: 성능 크게 하락 Driving Score: 16.9 → 비전 인코더 사전 학습 필수

LangAuto-Notice Benchmark

LangAuto-Sequential Benchmark

AI 에이전트가 완료된 지시와 미완료 지시를 구별해야 하는 추가적인 시간적 인식 능력 필요
LLaVA 및 Vicuna 기반 모델 모두 Driving Score & Route Completion 감소

[Paper] (PPGeo) Pre-training for Autonomous Driving via Self-supervised Geometric modeling

구코딩 — Wed, 5 Feb 2025 15:55:54 +0900

self-supervised learning 기반 policy pre-training 프레임워크

visuomotor 기반 자율 주행의 sample inefficiency 문제를 완화
Large Unlabeled&uncalibrated YouTube 주행 동영상을 활용하여 3D Geometric Scene modeling
pseudo label을 사용하지 않고 학습.
주행과 관련된 visual input만 효과적으로 집중.

Visuomotor Policy Learning

센서에서 얻은 raw data를 입력으로 받아, 적절한 행동을 예측하는 policy 학습 과정

visual perception과 control 모듈을 end-to-end 방식으로 동시에 학습.

초기부터 학습하는 것은 어렵고, 방대한 양의 라벨이 있는 데이터나 환경과의 상호작용이 필요
sample efficiency가 낮아, 학습에 매우 많은 데이터가 필요
입력 데이터의 역동성과 가변성이 매우 크기 때문에 view&translation 불변성을 확보하기 어렵다.

Visuomotor driving policy learning

(a) 불필요한 배경 정보 (Static Obstacles & Background)
- 도로 주변의 정적인 물체는 시각적 입력이지만 주행 정책(운전)에 직접적인 영향을 미치지 않음

(b) 결정적이지만 인식이 어려운 정보 (Crucial Yet Hard-to-Recognize Cues)

- 신호등은 운전 제어 출력에 결정적인 영향을 미치지만 매우 작고 배경과 쉽게 구별되지 않음

(c) 조명 및 날씨 변화에 대한 견고성 (Robustness to Light & Weather Conditions)

- 주행 환경은 다양한 조명 및 날씨 조건에서 변화 → 시각적 입력 달라짐

Visual Encoder: 관련 없는 정보 무시 + 중요하지만 작은 물체 효과적 학습 + 변화에 강인

기존 방법의 한계

Pre-training

ImageNet, Contrastive Learning, MIM, Vision-Language Pre-training 등

입력 데이터에는 불필요한 정보(노이즈)가 포함됨
- 예: 배경 건물, 멀리 있는 차량, 고정된 장애물 → 운전 결정에는 크게 영향을 주지 않음

중요한 정보(traffic signal 등)를 효과적으로 학습해야 함
- 기존 기법 한계: 일반적인 시각적 특성 학습에 초점 → 자율주행에 필요한 Driving Policy 학습 부족

복잡한 geometric relationships 고려해야 함
다양한 환경에서 강건한 인식이 필요
view transformation&translation 중요

Pseudo-labeling

기존 데이터셋을 활용하여 신뢰도가 낮은 예측값을 레이블로 사용하여 학습하는 방법
하지만 모델이 부정확하면 잘못된 라벨이 학습됨 (오차 누적)
- 특히 지리적 차이, 교통 환경 차이(domain gap) 가 클 경우 더욱 취약
- 예: 미국에서 학습된 모델을 한국에서 적용하면, 교통 규칙 차이로 인해 성능 저하

PPGeo: Policy Pre-training via Geometric modeling

PPGeo는 완전한 자율주행을 위한 새로운 사전 학습 기법으로, 기존의 Pseudo-labeling 접근법을 사용하지 않고, 완전히 Self-supervised 방식으로 학습

기존 방법과의 차이점:
- 기존 방법: 일반적인 컴퓨터 비전 기법을 활용하여 운전 정책 학습
- PPGeo: 3D 공간 정보를 활용하여 운전 정책을 직접적으로 반영한 특징을 학습

2 Stage Approach

Stage 1: 연속된 프레임을 활용한 geometry 학습

두 개의 연속된 이미지(프레임)를 입력으로 사용하여 Depth, Ego-motion, Camera Intrinsics 예측

Stage 2: 단일 프레임 기반 Ego-motion prediction 학습

한 개의 이미지(단일 프레임)만을 활용하여 Ego-motion을 예측
Stage 1에서 학습한 Depth 및 Camera Intrinsics 네트워크를 freeze하고, Visual Encoder를 학습
visual encoder가 현재 시각적 관찰만을 기반으로 미래의 ego-motion을 예측하고, photometric error를 최적화함으로써 주행 정책 표현을 학습한다.

Visual Encoder는 단일 프레임만 보고도 자율주행과 관련된 핵심 정보(운전 정책 정보)를 추출할 수 있음

Contributions

기존의 사전 학습 방법보다 자율주행에 적합한 정보를 효과적으로 학습하는 방식을 제안
- driving poilcy와 관련된 특징을 효과적으로 학습하기 위해 geometric modeling 활용

Self-supervised learning

Pseudo-label 없이 완전한 Self-supervised 학습을 실현
대규모 데이터에서 Pre-training을 최대로 활용 가능

visual encoder

3D 기하학적 모델링을 활용한 Visual Encoder 학습으로 운전 정책 정보 학습 강화
단일 프레임 기반 Ego-motion 예측 가능 → 다양한 다운스트림 태스크 적용 용이

성능 개선

적은 데이터로도 성능이 2% ~ 100% 이상 향상
복잡한 도로 상황에서도 높은 일반화 성능을 보임

Method

unlabeled 영상에서 self-supervised learning을 통해 2 steps로 visual encoder pre-training
visual encoder: single-frame input 기반으로 ego-motion을 예측함으로써 driving policy 관련 정보를 효과적으로 인코딩.
라벨 없이 이러한 목표를 달성하는 것은 쉽지 않기 때문에, 시각 인코더는 선행 단계(Stage One)의 도움을 받아 학습된다.
이러한 방식으로 학습된 시각 인코더는 미세 조정(fine-tuning)하여 다양한 다운스트림 작업(downstream tasks)에 적용할 수 있다 (단계 b, Stage b).

Overview

목표: Visual Encoder $\phi(x)$ pre-train

raw image input을 주행 의사 결정에 중요한 정보를 포함하는 compact representation으로 변환.
표현은 policy $π(\phi(x))$에 의해 활용되어 driving tasks 수행.

Stage 1: Self-supervised Geometric Modeling

Target Image & Source Image

Target Image $I_t$

현재 시점 t에서의 기준이 되는 이미지
이 이미지를 기반으로 깊이(Depth) 및 자기 운동(Ego-motion)을 예측
ex) 운전자의 현재 시점에서 보는 이미지

Source Image $I_{t'}$

Target Image를 복원하기 위해 사용하는 참조 이미지.
현재 프레임의 앞뒤 프레임을 사용 $t' \in \{t-1, t+1\}$
Target Image와 비교하여 깊이 및 ego-motion 정보를 추정하는 데 활용

Self-Supervised Learning

Source Image를 활용한 Target Image 복원을 통해 운전에 필요한 핵심 시각적 특징을 학습하여 강인한(robust) 인코더를 구축

Source Image에서 Target Image를 잘 재구성하면 모델이 3D 구조와 Ego-motion을 잘 이해한 것임.

학습 목표

라벨 없이 대규모 유튜브 운전 영상 학습
Source Image를 활용해 Target Image를 예측하고 차이를 최소화
3D 기하학적 변환(Depth + Pose)을 이용해 Source Image에서 Target Image를 복원

학습 과정: Target Image 재구성을 통해 Depth와 Ego-motion 학습

Ego-motion 추론 (PoseNet) → 차량의 움직임(6-DoF) 예측
Depth 정보 학습 (DepthNet) → 도로, 건물, 장애물 등의 깊이 정보 추정
다양한 환경에서도 강인한 시각 인코더 학습 (조명, 날씨, 환경 변화에 대응)

Target image $I_t$ 와 연속된 source image $I_{t^{'}}$ 를 입력으로 받아 joint estimation.

Target image의 depth
카메라 내부 intrinsics
두 프레임 간 6-DoF ego-motion

이 estimation을 가지고,

Scene의 3D geometry 모델링
source image의 pixel을 projecting하여 target image를 reconstruct

Pixel-wise Correspondence

3D geometry를 활용하여 depth와 ego-motion 학습

$\mathbf{p}{t'} = \mathbf{K} \mathbf{T}{t \to t'} \mathbf{D}_t(\mathbf{p}_t) \mathbf{K}^{-1} \mathbf{p}_t,$

목표 이미지 $I_t$와 소스 이미지 $I_{t'}$ 간 pixel-wise correspondence
$\mathbf{p}t$&$\mathbf{p}{t'}$: 각각 $I_t$와 $I_{t'}$의 homogeneous coordinates
$\mathbf{K}$: predicted camera intrinsic matrix
$\mathbf{D}_t(\mathbf{p}_t)$ : $I_t$ 내 픽셀 $p_t$의 predicted depth value → DepthNet
$T_{t \to t'}$: Predicted ego-motion? → PoseNet

이를 통해 target image $I_{t' \to t}$를 $I_{t'}$의 픽셀을 사용하여 재구성할 수 있음.

photometric reconstruction error를 최소화하는 방식으로 최적화 진행.

DepthNet & PoseNet 구조

DepthNet: encoder-decoder 구조, 입력 이미지의 depth map을 추정
PoseNet
- 두 개의 이미지를 stack하여 입력한 후,
- 인코더의 bottleneck feature를 이용해
  1. camera intrinsics
  2. 자기 운동(ego-motion, 6-DoF)
- 를 각각 예측하는 두 개의 MLP-based heads 사용.

Camera Intrinsics Estimation
- 광학 중심(optical center) $(c_x, c_y)$
- 초점 거리(focal lengths) $(f_x, f_y)$
- regression을 통해 추정.

연속된 두 프레임 간 변화를 판단하여 ego-motion 추론.

Stage 2: Visuomotor Policy Pre-training

PoseNet을 downstream driving policy learning task를 위해 visual encoder $\phi(x)$로 대체

stage 1이 끝나면 DepthNet과 PoseNet이 주행 영상 데이터에 적절히 fit된 상태
이제 시각 인코더는 단일 프레임 이미지만을 입력으로 받아 ego-motion 예측
single visual input 기반으로 ego-motion을 예측하는데, 이때 주행 정책 관련 정보를 학습하는 데 집중한다.

Visual Encoder

실제 driving policy 학습

연속된 두 프레임 간 ego-motion이 현재 시점의 driving decision or action과 직접적 관련
$I_t$만을 사용하여 $T_{t \to t+1}$ 예측
$I_{t-1}$을 사용하여 $T_{t \to t+1}$을 예측한 후, 이를 inverse operation하여 검증
최적화: photometric reconstruction error 최소화
DepthNet & intrinsics estimation: Frozen (backpropagation X)

효과

모든 픽셀이 시각 인코더의 학습을 위한 supervision 제공
일부 픽셀에서의 깊이 추정 오류가 있더라도, 다른 정확한 픽셀 정보가 이를 보완하여 global optimization 효과를 얻을 수 있음

Visual Encoder vs. poseNet

PoseNet의 pseudo motion label을 활용하여 visual encoder를 직접 supervise.

상대적으로 sparse하여 픽셀 단위 supervision 부족
PoseNet 기반 직접 지도 학습은 noise & prediction inaccuracy 영향을 크게 받을 위험이 있음

결과 및 활용

다양한 주행 영상을 통해 driving policy 학습에 필요한 knowledge 습득
visual encoder의 initial weights: downstream visuomotor 자율 주행 작업에 활용

추가적으로, 대규모 보정되지 않은(uncalibrated) 비디오 데이터에서 학습된 DepthNet과 PoseNet은 depth estimation 및 odometry estimation 작업에도 적용 가능

Loss Function

Photometric Loss

재구성된 이미지 $I_{t' \to t}$와 원본 이미지 $I_t$ 간 차이 최소화

$\ell_{\text{pe}} = \cfrac{\alpha}{2} (1 - \text{SSIM}(I_t, I_{t \to t'})) + (1 - \alpha) \ell_1(I_t, I_{t \to t'}),$

$\text{SSIM}(x, y) = \cfrac{(2\mu_x\mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)}$

Smoothness Loss

depth map이 부드럽게 변화하도록 유도하며 edge 부분에서는 급격한 변화 허용

depth map이 지나치게 요동치면 모델이 잘못 학습할 수 있음 → 깊이 변화량 줄이는 것이 목적
depth 변화가 실제로 큰 부분에서는 인식하도록 하기 위해 이 변화량 앞에 $e^{-|\partial_x I_t|}$를 곱함
- 밝기 변화($|\partial_x I_t|$)가 크면 (edge) $e^{-|\partial_x I_t|} \approx 0$ → 깊이 변화 허용
- 밝기 변화($|\partial_y I_t|$)가 작으면 (smooth region) $e^{-|\partial_x I_t|} \approx 1$ → 깊이 변화 억제

$\ell s = |\partial_x d_t^| e^{-|\partial_x I_t|} + |\partial_y d_t^| e^{-|\partial_y I_t|},$

$d_t^∗$ : 예측된 Depth Map
$I_t$ : 현재 프레임의 이미지
$\partial_x, \partial_y$ : x/y 방향(수평/수직)으로 미분
$|\partial_x d_t^|, |\partial_y d_t^|$ : 깊이 맵의 x/y 방향 변화량 (수평/수직 방향 깊이 변화)
$|\partial_x I_t|, |\partial_y I_t|$ : 이미지 $I_t$ 의 x/y 방향 변화량 (이미지 경계 검출)

추가로, self-supervised depth estimation을 개선하기 위해 minimum reprojection loss와 auto-masking scheme 추가.

Experiments

데이터셋:

Unlabeled YouTube Driving video
다양한 주행 조건 포함 (지리적 위치, 날씨 변화 등)
총 80만 개 프레임 샘플링 (1Hz, 즉 1초당 1프레임)

First Stage:

30 epochs
Optimizer: Adam
Initial Learning Rate: 10⁻⁴ → 25 epochs 후 10⁻⁵로 감소

Second Stage (Encoder Training):

20 epochs
Optimizer: AdamW
Cyclic Learning Rate Scheduler: 10⁻⁶ ~ 10⁻⁴ 사이에서 변동

공통 설정:

Batch Size: 128
Data Augmentation: ColorJitter/ RandomGrayScale / GaussianBlur

Baselines

Random: Kaiming Initialization
ImageNet: ImageNet 데이터셋 (Deng et al., 2009)으로 사전 학습된 모델 사용
MIM (Masked Image Modeling): SimMIM (Xie et al., 2022) 방법 사용 (랜덤 패치 마스킹 후 복원)
MoCo: MoCo-v2 (Chen et al., 2020c) 사용하여 YouTube 주행 영상에서 대조 학습
ACO: Action-Conditioned Contrastive Learning (Zhang et al., 2022b) 방법 사용
- Steering Angle을 기반으로 MoCo-v2 위에 추가 학습 진행

SelfD: 단순한 사전 학습이 아니라, 각 태스크별 정책 모델을 학습하여 비교
- Task 데이터 → YouTube 데이터 (Pseudo Label) → Task 데이터 Fine-Tuning 순으로 학습

Downstream Autonomous Driving Tasks

CARLA 환경에서 3가지 imitation learning 기반 closed-loop 주행
CARLA 환경에서 1가지 reinforcement learning 기반 task
nuScenes 데이터셋을 활용한 1가지 open-loop 계획

1) Imitation Learning 기반 주행 태스크 (CARLA)

Navigation (기본 네비게이션)
- CoRL2017 benchmark 기반
- Town01에서 훈련, Town02에서 테스트 (새로운 날씨 환경 적용)
- 4K~40K개의 훈련 데이터 사용
- 평가 지표: Success Rate

Navigation Dynamic
- Navigation 태스크와 동일하지만 다른 차량 및 동적 객체가 존재하는 환경에서 평가

Leaderboard Town05-long (CARLA LeaderBoard)
- Town01, 03, 04, 06에서 학습 후 Town05에서 평가 (보지 못한 환경에서 테스트)
- ACO는 Steering Angle 정보만 학습했기 때문에, 복잡한 환경에서 성능이 낮음
- 평가 지표: Driving Score = Route Completion × Infraction Score

2) 강화 학습 기반 주행 태스크 (CARLA)

Proximal Policy Optimization (PPO) 기반 강화 학습
- CILRS 모델을 PPO 알고리즘으로 학습
- pre-train된 인코더를 freeze하여, 사전 학습된 표현 학습이 강화 학습 성능에 미치는 영향을 분석

3) nuScenes 기반 경로 계획 (Planning)

실제 주행 데이터 기반의 Trajectory Planning 실험
- 3초 후의 차량 궤적을 예측 (0.5Hz 샘플링)
- 평가 지표:
  - GT (Ground Truth) 궤적과의 비교 (예측 정확도)
  - Collision Rate (충돌 비율)

3) 강화 학습 기반 실험 (PPO)

사전 학습된 인코더를 Freeze(동결) 한 경우에도 PPGeo가 우수한 성능을 유지
즉, PPGeo가 더 나은 특징 표현(Feature Representation)을 학습하고 있음을 증명

4) nuScenes Trajectory Planning

PPGeo 기반 경로 계획 모델이 가장 낮은 충돌률을 기록
이는 PPGeo가 실제 도로 데이터에서도 효과적인 사전 학습 방법임을 의미

Depth and Odometry Estimation

PPGeo의 stage 1 학습이 Depth Estimation & Odometry Estimation에도 효과적인지 검증

DepthNet과 PoseNet을 PPGeo stage 1 학습 이후 초기 가중치로 사용해 Monodepthv2 학습
KITTI 데이터셋 사용
대규모 비지도 주행 데이터로 사전 학습하면 Depth&Odometry Estimation 성능 향상

Visualization Results

Eigen-CAM 사용한 특징 맵 시각화

다른 사전 학습 방법과 비교하여 PPGeo가 주목하는 영역을 분석
PPGeo의 특징:
- 차선 및 전방 도로에 집중 (주행과 직접적으로 관련된 영역)
- 브레이크 원인을 잘 포착 (앞 차량, 신호등 등)

ImageNet 사전 학습 모델과 비교:
- ImageNet 모델은 주행과 무관한 영역에 집중할 수도 있음
- 예: 불필요한 물체에 초점을 맞추는 경우 (Row 2&3)

3.6 Ablative Study

PPGeo의 각 요소가 실제 성능에 미치는 영향

DepthNet과 시각 인코더를 한 번에 동시에 학습
- 깊이 추정과 자율주행 인코딩을 동시에 학습하면 Ego-motion 학습이 어려움
2단계 학습에서 DepthNet을 동시 학습 (Freeze X)
- 2단계에서 DepthNet을 추가로 업데이트하면 깊이 추정 품질이 저하되고 주행 성능에도 악영향
1단계 PoseNet을 이용해 Pseudo Label 생성 → 직접 지도 학습
- 부정확한 Pseudo Label은 오히려 학습을 방해하여 성능을 떨어뜨림

[Paper] SelfD: Self-Learning Large-Scale Driving Policies From the Web

구코딩 — Mon, 3 Feb 2025 12:49:15 +0900

Large&Unlabeled 온라인 데이터를 효과적으로 학습할 수 있는 매커니즘.

Online data
- 방대한 양의 online ego-centric 내비게이션 Large YouTube 비디오 데이터
- unconstrained&unlabeled demonstration 온라인 데이터를 활용하여 복잡하고 동적인 환경에서 강건한 비전 기반 내비게이션을 위한 일반화된 모델

iterative semi-supervised training
- Unlabeled data를 활용하기 위해 small labeled data에서 imitation learning.
- 이를 사용하여 pseudo-labeled data로부터 imitation agent 학습
- 초기 학습된 policy의 knowledge&robustness 효과적으로 augment

BEV space에서 직접 planning 학습 → 직접적인 reasoning
- data의 플랫폼 및 시점(perspective)에 구애받지 않음.
- dataset-agnostic & platform-agnostic 모델 설계

효과
- 다양한 환경과 시나리오에서 효과적으로 작동할 수 있는 확장 가능한 decision-making model
- Robustness&generalized

Contributions

unconstrained 이미지에서 학습할 수 있도록 새로운 모델 개발
- BEV 계획 space로 매핑 → 카메라 캘리브레이션 없이 다양한 환경에서도 학습 가능
새로운 반지도 학습 접근법을 제안
- hypothetical data augmentation을 포함한 self-training 기법을 도입.
- 다양한 품질의 demonstration data를 효과적으로 활용할 수 있도록, 새로운 샘플링 기법을 개발
cross-dataset experiments
- 초기 훈련된 의사결정 모델이 최소한의 데이터 가정 하에서 self-improvement 및 generalization 능력을 향상할 수 있는지 분석
- 다양한 환경에서 평가해 SOTA 수준의 일반화 성능 달성

Method

Overview

Initial BEV policy $f_\theta$ imitation learning

특정 도메인(domain-specific)의 small, labeled dataset $\mathcal D$를 활용하여, initial BEV policy $f_θ$ 학습.
supervised learning을 통한 imitation learning 수행.

$f_\theta$ 활용하여 large pseudo-labeled dataset $\hat {\mathcal D}$ 생성

학습된 fθ를 이용하여 unlabeled 데이터에 대해 pseudo-label 생성.
large pseudo-labeled dataset $\hat {\mathcal D}$ 구축.

$\hat {\mathcal D}$을 활용한 pre-training & $\mathcal D$를 활용한 fine-tuning

$\hat {\mathcal D}$에서 일반화된 정책 $f_θ$ pre-training
$\mathcal D$에서 fine-tuning하여 성능 향상.

Problem Setting

observations $\text x = (\mathbf I, v, c) \in \mathcal X$

agent가 driving navigational decision으로 매핑하는 것 학습.
$\mathbf I \in \mathbb{R}^{W \times H \times 3}$: 전방 카메라 이미지
$v \in \mathbb{R}$: ego-vehicle speed
$c \in \mathbb{N}$: categorical navigational command

$y \in Y$: waypoint trajectory → interpretability&generalization 뛰어남.

$f_\theta : \mathcal X \to \mathcal Y$ waypoint prediction function

$\theta \in \mathbb{R}^d$: learnable parameter

Conditional Imitation Learning from Observations(CILfO):

unlabeled on-line data $\mathcal U = \{\text I_i\}_{i=1}^M$에서도 학습이 가능하도록 label recovery 적용

적절한 waypoints, 조작 명령, 속도 등을 recover하여 large pseudo-labeled dataset 생성

Initial Data Assumption

학습을 시작하기 위한 small labeled data 필요

Initial policy 학습
- human expert demonstration을 사용해 small labeled dataset 사용.
- supervised learning based conditional imitation learning
- dataset $\mathcal D = \{(\text x_i, \text y_i)\}{i=1}^N$를 활용하여 waypoint prediction function **$f{\theta}$ 학습**
  - loss function optimization: $\displaystyle \min_{\theta} \mathbb{E}{(x, y) \sim D} \left[ \mathcal{L}(y, f\theta(x)) \right]$
pseudo-label 생성
- 학습된 모델을 이용하여 large unlabeled data에 대해 pseudo-label을 생성하고 이를 활용하여 더욱 강건한 내비게이션 정책을 학습
- data augmentation → policy의 robust 크게 향상
- $\hat{y}, \hat{c}, \hat{v}$ (예측된 경로, 내비게이션 명령, 속도)를 추정하여 데이터셋 $\hat{D} = \{((\mathbf I_i, \hat{v}_i, \hat{c}_i), \hat{y}i)\}{i=1}^M$를 생성.
- 이렇게 복원된 데이터셋을 활용하여 CIL을 적용해 policy learning.

BEV Plan Network

BEV space에서 waypoint를 직접 예측 + quality estimates 고려한 학습

monocular 이미지 기반 플래너를 활용하여 BEV 공간에서 직접 의사결정을 수행
다양한 perspectives에서도 robust&generalize
예측된 BEV 웨이포인트는 PID와 같은 low-level controller와 결합 가능

Monocular → BEV space

Confidence-aware learning 적용 + quality estimates 고려
모델을 $f_{\theta} : \mathcal X \to \mathcal Y \times \mathcal R$로 확장 & quality estimates $σ∈\mathcal R$ 추가

Loss Function

$\mathcal L = \mathcal L_{\text{plan}} + \lambda \mathcal L_{\text{quality}}$

$\mathcal L_{\text{plan}}$: predicted waypoint와 ground-truth 간 L1 loss.
$\mathcal L_{\text{quality}}$: 예측된 품질(quality)과 실제 품질 간의 Binary Cross-Entropy
$λ$: 두 가지 학습 목표를 조정하는 hyper-parameter.

“What If” Pseudo-Labeling of Unlabeled Data

Unlabeled imgae $\mathcal U$에 대해 self-training을 통해 pseudo-labels 생성

"What If" Augmentation

On-line video data: 노이즈 심해 신뢰X trajectories + demonstration 안전X&복원 어려움.
unlabeled single-frame에 대해 $f_θ$를 활용하여 hypothetical future trajectories 생성, pseudo-label로 활용 → 학습 데이터 확장

Method

speed $\hat v$ & command $\hat c$ random sampling. (가상의 값)
pseudo-labels $(\hat {\mathbf y},\hat {\boldsymbol {σ}}) = f_θ(\mathbf I, \hat v, \hat c)$ → 다양한 주행 시나리오에 대한 가상 라벨링 수행
Label quality estimates $\hat \sigma$: 노이즈가 심한 trajectory를 필터링 → 높은 신뢰도 데이터셋 구축

Future Trajectory

BEV 기준 meter 단위, 속도는 m/s 단위.
Conditional Commands: left = 1 / forward = 2 / right = 3

효과

다양한 시나리오를 학습 가능
누락된 속도 및 명령 입력을 보완 + 추가 supervision
조건부 에이전트가 특정 상황에서 어떻게 행동해야 할지를 더 잘 판단할 수 있도록 돕는다
일반화 성능 향상

Model Pre-Training and Fine-Tuning

두 dataset $\hat {\mathcal D}$ 와 $\mathcal D$ 에 대해 별도로 학습, learned representations 통해 knowledge transfer.

$f_{\theta}$ 를 $\hat {\mathcal D}$에 대해 re-train.
사전 학습된 policy $f_\theta$를 $\mathcal D$에 대해 추가로 fine-tune.

효과

$\hat {\mathcal D}$로부터 얻은 추가적인 지식을 활용하여 성능 향상
learning rate 등 세밀한 hyper-parameter tuning 필요X
labeled data와 pseudo-labeled data 섞는 비율을 신중하게 조정할 필요X

Experiments

Experimental Setup

Dataset

YouTube 운전 영상 (100시간): 다양한 도시, 날씨, 낮/밤 조건을 포함한 운전 데이터 수집
공개 자율주행 데이터셋 사용
- nuScenes (Boston, Singapore) → 실험을 위해 두 지역으로 분할
- Waymo (8개 도시)
- Argoverse
목적: 도시 간 도메인 차이를 고려하여 모델이 얼마나 일반화할 수 있는지 평가

Evaluation Metrics

Open-Loop (BEV 기반 waypoint 예측 정확도)

ADE (Average Displacement Error)
- 미래의 waypoints에 대해 평균 L2 distance error 측정
FDE (Final Displacement Error)
- 미래의 마지막 waypoint의 L2 거리 오차
- 마지막 예측 지점의 정확도를 측정하는 지표
Collision Rate
- 예측된 waypoints가 다른 차량과 충돌할 확률
- nuScenes, Argoverse에서만 평가 가능

Closed-Loop (CARLA 시뮬레이션 주행 성능 평가)

SR (Success Rate, 성공률)
- 목표 지점까지 도달한 비율
RC (Route Completion, 주행 경로 완료율)
- 전체 주행 경로에서 얼마나 많이 진행했는지 (%)
Collision Frequency (충돌 빈도, per 10km)
- 10km 주행당 충돌 횟수

Model Architecture

기존 CIL 모델
- 이미지에서 2D waypoints 예측
- 고정된 투영 변환을 통해 BEV로 변환 (정확도 낮음)
- ADE (Average Displacement Error): 1.86
새로운 BEV Planner (제안 방법)
- 이미지에서 직접 BEV waypoints 예측
- 카메라 보정 정보 (intrinsic/extrinsic parameters) 없이 학습
- ADE: 1.14

Pseudo-Labeling

YouTube 데이터에 대한 pseudo-labeling을 적용해 추가 학습
Visual Odometry (VO) 모델을 pseudo-label 생성에 활용했지만, 성능이 낮아짐
제안된 "What If" Augmentation 적용 시 성능 향상!
Self-Training 없이 학습하면 ADE: 1.18
Self-Training + What If Augmentation 적용 시 ADE: 1.14

CARLA Closed-Loop Evaluation

[Paper] (MoCo) Momentum Contrast for Unsupervised Visual Representation Learning

구코딩 — Tue, 28 Jan 2025 12:52:02 +0900

contrastive learning을 위한 dynamic dictionary를 구축하는 메커니즘

https://arxiv.org/pdf/1911.05722

특징

unsupervised visual representation learning
contrastive learning을 dictionary 형태로 바라봄.
queue와 moving-average encoder 사용.
downstream task에 잘 사용 가능

Dictionary

Large

continuous, high-dimensional visual space에서 sampling을 잘 하기 위해서 dictionary size가 커야 함.
기저에 존재하는 연속적이고 고차원적인 시각 공간을 더 잘 샘플링할 수 있음.

Queue

현재 mini-batch의 인코딩된 표현들이 큐에 추가(enqueue)되고, 가장 오래된 샘플들은 큐에서 제거(dequeue)
이전 mini-batch의 key들을 재사용할 수 있음
dictionary 크기를 mini batch size와 분리 → dictionary 크게 유지

Consistency

사전의 키가 이전의 여러 미니배치에서 생성되기 때문에, 쿼리 인코더의 momentum-based moving average으로 구현된 점진적으로 업데이트되는 키 인코더를 사용하여 일관성을 유지하는 방식
dictionary의 key가 일관되어야 query와의 비교 또한 일관되므로 좋은 성능을 낼 수 있음

Update

큰 dictionary 크기로 인해 모든 representation에 대해 모두 back-propagation 수행 불가/
query encoder $f_q$를 key encdoer $f_k$로 복사 → consistency를 크게 해침.
momentum moving average로 $f_k$ 점진적 update.

Method

encoded query $q$와 encoded key의 dictionary $\{k_0, k_1, k_2, ...\}$가 있을 때

dictionary에서 $q$와 매칭되는 key $k_+$가 있다고 하자.
contrastive loss는 $q$가 $k_+$와 유사도가 높고 나머지 key와는 유사도가 낮을 때 작은 값을 가짐.

Loss function: InfoNCE

$\mathcal L_q = -\log \cfrac{\exp\left(q \cdot k_+/{\tau}\right)}{\sum_{i=0}^{K} \exp\left(q \cdot k_i/{\tau}\right)}$

$\tau$: temperature hyperparameter
- 0.07로 세팅
- similarity 점수의 스케일링 역할
- 큰 값: positive/negative key 간 차이 강조 → 미세한 차이에 민감
- 작은 값: negative 고르게 취급. → 모델이 완만히 학습
분모: positive sample 하나와 $K$개의 negative sample에 대해 sum.
$q$를 $k_+$로 분류하려고 하는 $(K+1)$-way softmax-based classifier로 해석할 수 있음.
$q = f_q(x^q)$
$k = f_k(x^k)$
$f_q, f_k$: query/key sample의 encoder network.

Momentum update

$\theta_k \gets m\theta_k + (1 - m)\theta_q$

인코더를 부드럽게 변화하도록 해 key의 일관성을 유지하도록 함.

encoder를 back propagation하지 않고 천천히 업데이트
$m$을 크게 하여 매우 천천히 업데이트하도록 하는 것이 성능 향상에 도움이 되었음.

Relations to previous mechanisms

End-to-End

mini-batch에서 positive sample과 negative sample을 만들고 encoder를 통과시켜 contrastive loss를 통해 각 encoder를 학습
키는 동일한 인코더로 생성 → consistency 높음.
dictionary 크기는 mini-batch 크기에 종속 → GPU 메모리 한계

Memory Bank

memory bank에 모든 샘플들의 representation을 넣어두고, memory bank에서 무작위로 샘플링해서 key로 사용
샘플링된 키는 역전파 없이 사용 → 큰 dictionary 크기
memory bank에 여러 시점의 샘플들을 보관 → consistency 낮음

Pretext Task

Instance Discrimination

양성 샘플 (positive pair): 같은 이미지에서의 query와 key.
- 같은 이미지에 대해 random views 생성 (augmentation)
- query와 key를 각각 쿼리 인코더 $f_q$와 키 인코더 $f_k$를 사용해 인코딩.
음성 샘플 (negative pair): 서로 다른 이미지에서 유래한 query와 key.

Encoder

ResNet
FCN: 128-dimension
L2-norm
Augmentation: random color jittering, random horizontal flip, random grayscale conversion

Shuffling BN

치팅 문제를 방지하고 BN의 혜택을 유지하는 방법
각 GPU에서 batch normalization 독립적 수행

key encoder $f_k$

현재 미니배치의 샘플 순서를 GPU에 배분하기 전에 랜덤 셔플링.
인코딩 후 다시 원래 순서로 복원.

query encoder $f_q$

sample 순서 변경X

Experiments

Dataset: ImageNet-1M, Instagram-1B

Training

SGD / Weight decay: 0.0001 / Momentum: 0.9
ImageNet-1M:
- mini-batch size: 256 (8 GPU 사용)
- initial learning rate: 0.03
- training epoch: 200 (120, 160 epoch에서 learning rate 0.1배 감소)
- ResNet-50 학습 시간: 약 53시간
Instagram-1B:
- mini-batch size: 1024 (64 GPU 사용)
- initial learning rate: 0.12 (62,500회 반복마다 0.9배 감소)
- ResNet-50 학습 시간: 약 6일

References

https://ffighting.net/deep-learning-paper-review/self-supervised-learning/moco/

https://velog.io/@kowoonho/논문-리뷰-Momentum-Contrast-for-Unsupervised-Visual-Representation-Learning-MoCo

https://kyujinpy.tistory.com/40

https://hongl.tistory.com/122#google_vignette

[Paper] ViT - Vision Transformer

구코딩 — Sun, 19 Jan 2025 16:30:32 +0900

Transformer를 sequences of image patches에 직접 적용해도 classification에서 뛰어난 성능을 보임!

특징

NLP에서 사용되는 Transformer를 Vision Task에 적용
CNN구조 대부분을 Transformer로 대체 (입력단인 Sequences of Image Patch에서만 제외)
대용량 데이터셋 Pre-Train → Small Image 데이터셋에서 Transfer Learning
- 훨씬 적은 계산 리소스로, 우수한 결과를 얻음
- 단, 많은 데이터를 사전 학습해야 된다는 제한사항 있음

이미지를 patch의 sequence로 해석한 뒤, NLP에서 사용되는 표준 Transformer 인코더로 처리

단순, 확장 가능, 대규모 데이터셋으로 사전 학습 → 좋은 성능
SOTA와 동등하거나 초과하는 결과를 내면서 상대적으로 저렴한 pre-training 가능

데이터가 적은 경우는 ResNet보다 성능이 떨어짐

Translation과 locality 같은 Inductive bias가 부족.
translation equivariance 부족
불충분한 데이터 양으로 generalize가 잘 안 됨.

(related work 생략)

Inductive Bias

ViT는 CNN보다 image-specific한 Inductive Bias가 약하다.

Inductive Bias: 만나지 못한 상황을 해결하기 위해 추가적인 가정을 활용하여 문제를 해결.

가정에서 벗어나는 경우 예측력 떨어짐.
ex) CNN은 locality라는 가정을 활용하여 spatial 문제를 풀고, RNN은 sequentiality라는 가정을 활용하여 Time-series 문제 해결.

CNN

Locality
- 이미지를 구성하는 특징들은 전체가 아닌 일부 지역들의 픽셀들로만 구성되고 이들끼리만 종속성을 갖는다는 가정.
Two-Dimensional Neighborhood Structure
Translation Equivariance

입력의 위치 변화에 따라 출력 또한 입력과 동일하게 변화하는 것
이들이 model 전반에 걸쳐 모든 계층에 내재되어 있음.

ViT

MLP layer에서만 Locality, Translation Equivariance.
self-attention layer는 global로 동작.
Two-Dimensional Neighborhood Structure: 아래 상황에서 제한적으로 사용.
- 학습: 모델 시작 단계에서 이미지를 patch로 나눌 때
- fine-tuning: 다른 resolution 이미지에 대해 position embedding을 조정할 때
ViT가 Inductive Bias가 부족한 이유&극복Fully connected 방식은 픽셀에 대한 가중치로 연산을 하므로 translation equivariance 감소.
ViT에서는 MLP에서는 각 패치가 무얼 의미하는지에 대한 정보를 추출하도록 하고 이 정보를 기반으로 MSA에서 각 패치들과의 연관성을 고려하도록 하면서 이러한 단점을 극복하도록 합니다.
이미지를 패치로 나누고, MLP는 한 패치 내부에서만 작동.

이러한 특징들로 인하여 큰 데이터셋에서는 강력한 성능을, 작은 데이터셋에서는 일반화 어려움을 갖는다.

Hybrid Architecture

입력을 raw image patch 대신 CNN feature map으로 대체 가능

이를 활용한 hybrid model에서는 CNN 특징 맵으로부터 패치를 추출한 후, 패치 임베딩 적용.

CNN의 특징 추출 능력을 활용하면서, Transformer의 강력한 시퀀스 처리 능력을 결합한 접근 방식
CNN의 inductive bias를 활용하면서 Transformer의 전역적 학습 능력을 도입하는 방법
다양한 상황에서 성능을 향상시킬 수 있다.

주요 특징

하이브리드 입력 구조:
- CNN으로부터 생성된 특징 맵에서 패치를 추출.
- 각 패치에 대해 선형 투영(linear projection)을 적용하여 Transformer 차원으로 매핑.
특별한 경우 (1x1 패치):
- 패치 크기가 1×1인 경우, CNN feature map의 spatial dimensions을 단순히 flatten한 뒤 Transformer 차원으로 투영한다.
- 이는 CNN 특징 맵 자체를 Transformer의 입력 시퀀스로 변환하는 간단한 방식이다.
위치 및 분류 임베딩 추가:
- classification input embedding과 position embedding을 입력 시퀀스에 추가한다.

Fine-tuning and Higher-resolution

사전 훈련 때보다 더 높은 해상도로 Fine-Tune 하는 것이 성능에 도움이 됨

pre-trained prediction head를 제거하고 0으로 초기화된 $D \times K$ feedforward layer를 붙임.

$K$: downstream class 개수

Patch 크기 고정

fine-tuning시 입력 이미지 resolution 증가
패치 크기를 고정하면 개수가 증가해 더 긴 시퀀스 생성.
더 높은 해상도 & Patch Size 동일 → Sequence 길이 증가

2D Interpolation

resolution이 바뀌면 sequence 길이도 변하므로 기존 pre-trained position embeddings 유효X.
새로운 resolution에 맞춰 2D Interpolation 수행
원본 이미지에서의 patch 위치에 따라 pre-trained position embeddings 값을 새 resolution에 맞게 조정.
Inductive bias를 추가할 수 있게 됨.

대형 데이터셋에서 학습을 시키고, fine-tuning 과정에서 2D interpolation을 진행해 inductive bias를 활성화시켜주어 더 높은 성능을 달성할 수 있었던 것으로 보임.

Method

Input

image를 patch로 분할해 linear embedding의 sequence를 transformer의 input으로 사용.

Image Patch: NLP에서의 token(words)과 같음.

Embeddings

2D image를 기존의 token처럼 활용하기 위해 1차원으로 변환하는 작업.

Patch Embedding

하나의 이미지를 여러 패치로 나누어 인코더의 입력 시퀀스로 삽입.

image $x \in \mathbb R^{H \times W \times C}$를 sequence of flattened 2D patches $x_p \in \mathbb R^{N \times (P^2 \cdot C)}$로 reshape.

$(H, W)$: 원본 이미지의 resolution.
$C$: channel 수
$(P, P)$: 각 image patch의 resolution
$N=HW/P^2$: 생성된 patch의 수. Transformer의 effective input sequence length로 사용.
$D$: constant latent vector size.
- image patch를 flatten하고, 학습 가능한 linear projection을 통해 $D$ dimensions로 매핑
- 이 projection의 출력: patch embeddings.
Ex)
- 이미지 크기가 $H=W=224$이고 $P=16$일때 $224\times224 / 16^2 = 196$개의 $16×16×3=768$ 차원의 텐서로 이루어진 시퀀스.
- 시퀀스의 각 요소 별로 임베딩을 위한 선형변환을 수행하고 (patch embedding) 모델 전체의 차원은 D로 통일.
- $H=W=224,P=16$인 경우, patch embedding 결과 $196×768$ 크기의 패치 임베딩 행렬 도출

learnable embedding

learnable embedding을 patch embedding sequence의 앞에 추가

BERT의 class token과 유사.
추후 이미지 전체에 대한 표현을 나타내게 됨.
MLP Head에 입력으로 들어가 classification 작업에 사용됨.
$z^0_0 = x_{\text{class}}$로 정의.
$z^0_L$: 최종 L번째 layer의 0번째 token에 대응.

Position Embedding

시퀀스 각 요소의 위치 정보를 알려주기 위한 방법.

$\text E_{\text {pos}} ∈ \mathbb R^{(N+1)×D}$: Position Embeddings

초기에는 patch의 2D 위치에 대한 정보 포함X
patch 간 모든 spatial relations는 학습을 통해 처음부터 습득해야 함.
Ex)
- 위의 예시에서, class token을 위한 임베딩은 $1 \times 768$ 크기의 벡터.
- 이것이 패치 임베딩 행렬 왼쪽에 붙어
- 최종적으로 $(196+1) \times 768$ 크기의 텐서

Linear Projection

$z_0 = [x_{\text{class}}; x^1_p\text E; \; x^2_p\text E; \; ··· ; x^N_p\text E; \;] + \text E_{\text {pos}}$

$\text E ∈ \mathbb R^{(P^2·C)×D}$: Patch Embeddings
$\text E_{\text {pos}} ∈ \mathbb R^{(N+1)×D}$: Position Embeddings

Patch embedding에 position embedding을 추가해 위치 정보를 보존한다.

일반적으로 학습 가능한 1D 위치 임베딩을 사용

이렇게 생성된 임베딩 벡터의 시퀀스가 인코더의 입력으로 사용된다.

Transformer Encoder

기존 transformer의 encoder 부분을 변경하여 사용.

MSA 층과 MLP 블록이 번갈아 가며 배치.

LN: LayerNorm. 모든 블록의 입력에 적용.
Residual connections: 각 블록의 출력 뒤에 추가

MSA

Multi-Headed Self-Attention.

$z’l = \text {MSA}( \text {LN}(z{l-1})) + z_{l-1}$

입력에 LayerNorm 적용 → MSA 연산 → 결과 residual connection으로 합산.

MLP

두 개의 층으로 구성되며, activation function으로 GELU 사용

$z_l = \text {MLP}( \text {LN}(z'_l)) + z'_l$

입력에 LayerNorm 적용 → MLP 연산 → 결과 residual connection으로 합산.

최종 출력

$y = LN(z^0_L)$: 인코더의 출력에서 해당 임베딩의 상태 $z^0_L$이 이미지 표현 y로 사용.

pre-training, fine-tuning 단계 모두에서, $z^0_L$에 classification head 연결.
pre-training: 1개의 hidden layer를 가진 MLP로 구현.
fine-tuning: single linear layer로 구현

Experiments

Datasets

ImageNet (원본 검증 레이블 및 ReaL 레이블)
CIFAR-10/100
Oxford-IIIT Pets
Oxford Flowers-102

VTAB

제한된 데이터를 사용하여 다양한 작업으로 전이 학습을 평가하는 벤치마크.

Natural - 자연스러운 이미지 (예: Pets, CIFAR 등)
Specialized - 의료 및 위성 이미지
Structured - 기하학적 이해가 필요한 작업 (예: 로컬라이제이션)

Settings

Models

Training & Fine-tuning

Training

Adam 옵티마이저: $β_1=0.9, β_2=0.999$
- 초기 훈련에서 빠르고 안정적 수렴
- 데이터 불안정, 손실 함수가 복잡한 초반 학습에서 효과적
- learning rate 초기값에 덜 민감
batch size: 4096

Fine-tuning

SGD with momentum
- Adam은 빠르게 수렴하나 optimal 근처에서 overfitting 발생 가능. SGD는 일반화 성능 좋음
- parameter가 대부분 설정되어 있으므로 작은 변화를 세밀히 적용 가능
batch size: 512

Metrics

downstream dataset에서의 성능

Few-shot accuracy: 일부 훈련 이미지의 표현을 매핑하여 {−1, 1} 범위의 벡터로 변환하는 정규화된 선형 회귀 문제를 해결하여 평가.
Fine-tuning accuracy: 해당 데이터셋에서 모델을 미세 조정한 후의 성능.

SOTA와 비교

ViT 모델(ViT-H/14 및 ViT-L/16)을 ResNet 기반 BiT 및 Noisy Student(EfficientNet 기반)와 비교

실험 결과, ViT는 JFT-300M 데이터셋에서 사전 학습 시 ResNet 기반 모델보다 모든 작업에서 더 높은 성능을 보였으며, 더 적은 계산 자원을 사용.

ImageNet Top-1 정확도: ViT-H/14가 88.55%, BiT-L이 87.54%
CIFAR-10/100: ViT 모델이 더 높은 성능 기록
VTAB: 자연 이미지 및 구조적 작업에서 더 우수한 성능

ViT는 JFT-300M과 같은 대규모 데이터셋에서 잘 작동하지만, 데이터셋 크기가 작을 경우 ResNet보다 성능이 떨어지는 경향.

→ ViT가 ResNet에 비해 비전 관련 inductive bias이 적기 때문.

Scaling study

다양한 모델의 사전 학습 비용과 전이 성능 간의 관계를 평가한 결과:

ViT는 동일한 계산 자원으로 ResNet보다 우수한 성능을 발휘.
작은 모델에서는 하이브리드 모델이 ViT보다 약간 우수하지만, 대규모 모델에서는 차이가 사라짐.
ViT는 더 큰 모델로 확장할수록 성능이 더욱 향상.

ViT internal representation

학습된 임베딩 필터의 주요 주성분.
첫 번째 레이어에서 입력 이미지 패치를 선형 변환하는 단계
이를 분석했을 때 각 패치의 세부 구조를 표현하는 저차원 표현의 기저 함수와 유사한 구조를 가짐

position embeddings 추가.
이미지 내 거리 정보를 position embedding의 유사성으로 인코딩.
가까운 패치일 수록 임베딩이 유사.

attention weight를 기반으로 정보가 통합되는 이미지 공간 내 평균 거리.
CNN의 receptive field size와 유사.
self-attention은 가장 낮은 계층에서도 이미지 전역의 정보를 통합할 수 있도록 함.
초기 레이어에서 전역적인 정보 통합 능력을 보여줌
특정 attention 헤드는 국소적인 정보에 집중함으로써 CNN의 초기 레이어와 유사한 역할 수행

Challenges

Object Detection, Segmentation 등에 활용
Self-supervised Learning 탐구 필요.
확장성

References

[Paper] Transformer: Attention is All You Need

구코딩 — Tue, 14 Jan 2025 18:50:39 +0900

Attention mechanism만을 사용해 인코더와 디코더를 구성한 새로운 network

특징

CNN과 RNN을 완전히 제거하여 간단하고 병렬화가 용이하며, 훈련 시간도 크게 단축됨.
Attention Mechanism만을 사용해 입력/출력 간 global dependencies 학습.
큰/한정된 데이터셋에서 모두 우수한 성능을 보임.

Multi-Head Attention

동일한 데이터에 여러 개의 어텐션 메커니즘을 병렬로 적용

모델은 데이터의 다양한 측면을 동시에 고려
- 서로 다른 의미적/구문적 관계 학습 가능.
다양한 의존성 동시 고려
더 풍부하고 다차원적인 데이터 표현 수집/분석

Self-Attention

같은 문장 내에서 단어들 간의 관계 고려

Q, K, V가 모두 동일한 embedding vector에서 도출됨.
시퀀스의 서로 다른 위치 간의 관계를 학습하여 해당 시퀀스의 표현 계산.
단일 입력 데이터의 모든 요소들 간의 관계 포괄적 이해.
계산 효율성
- 시퀀스 길이 $n$이 표현 차원 $d$보다 작을 때 계산이 효율적. → 레이어 당 $O(n^2 ⋅d)$
Parallelization
- 모든 위치를 동시에 연결하여 병렬화에 용이하고, 순차적 계산이 $O(1)$로 최소화
- 토큰 간 의존성을 빠르게 학습 가능
Long-term Dependency 해결
- 모든 입력 간의 상호작용을 병렬로 처리
- 경로 길이를 최소화
다양한 형식의 데이터에 적용 가능
- encoder-decoder attention은 입출력이 명확히 구분되는 번역, 생성 같은 작업에 유용

Positional Encoding

단어의 위치 정보를 얻기 위한 방식

시퀀스의 각 요소 위치에 대한 정보를 임베딩 벡터에 추가해 모델이 단어의 순서를 인식하도록 함.

위치 정보 t가 주어졌을 때, 해당 위치에 대응하는 임베딩 벡터 E 반환.
sin & cos 함수를 사용하여 각 위치에 고유한 값 할당.
모델이 위치 정보를 효율적으로 모델에 통합할 수 있는 장점.

기존 모델

Recurrent Models: 이전 결과를 입력으로 받는 순차적 특성으로 인한 병렬 처리의 어려움
- Gradient Vanishing/Exploding
- Long-term Dependency: 시퀀스의 앞/뒷부분 연관성 효과적 학습 어려움
Attention Mechanism: 입력 or 출력 sequence distance와 무관하게 dependencies 모델링 가능하도록 함. → 이전까지 순환 신경망과 함께 사용되었음.
- 모델이 입력 시퀀스의 중요 부분에 ‘집중’하여 필요한 정보를 선택적으로 추출하는 방법을 제공
- 전체 시퀀스를 일괄적으로 처리하는 대신 관련성이 높은 정보에 집중하여 효율적으로 처리
End-to-end memory network: recurrent attention mechanism 사용.

Model Architecture

Encoder

N = 6개의 동일한 레이어로 구성된 스택 구조 (사진은 그 중 하나)
각 레이어는 2개의 sub-layer로 구성
- Multi-head self-attention
- feed-forward network
각 sub-layer:
- residual connection
- layer normalization
$\text {LayerNorm}(x+ \text{Sublayer}(x))$
- 해당 서브 레이어가 구현하는 함수.
- 동일 배치에 있는 시점의 sequence를 모아서 정규화.
-Multi-Head Attention or Feed Forward 이후.

Decoder

N = 6개의 동일한 레이어로 구성된 스택 구조 (사진은 그 중 하나)
각 레이어는 3개의 sub-layer로 구성.
- Masked Multi-head self-attention
- Multi-head encoder-decoder attention
- feed-forward network
각 sub-layer:
- residual connection
- layer normalization

Attention

같은 문장 내에서 단어들 간의 연관성을 파악할 수 있음.

$Q$: Query. 현재 내가 보고 있는 단어의 표현 - “내가 무엇을 찾고 있는가?”
$K$: Key. 찾는 대상 - “이 정보는 내가 찾는 것과 얼마나 관련이 있는가?”
$V$: Value. 실제 값 - 입력 자체의 정보, 실제 반환 데이터. $Q, K$에 의해 가중치가 부여됨.
→ Q와 K를 비교해서 Q와 가장 관련있는 V 반환.

Scaled Dot-Product Attention

$\text{Attention}(Q,K,V) = \text{softmax}\bigg(\cfrac{QK^T}{\sqrt {d_k}} \bigg)V$

Query와 모든 Key의 dot product를 통해 유사도를 계산하고 $\sqrt {d_k}$를 나눈 값에 softmax 적용.
이 유사도를 가중치로 하여 (softmax) 키와 맵핑된 각각의 Value에 반영.
다수의 Query에 대해 동시에 계산하고, 이를 행렬 Q에 묶어서 처리함. K, V도 마찬가지.

Scaling

$\sqrt {d_k}$로 나누는 과정

Scaling을 하지 않으면 additive attention보다 성능이 대폭 감소.
softmax가 0 근처에서는 gradient가 높고, 매우 크고 작은 값들에 대해서는 매우 낮은 gradient를 가지기 때문에 학습이 잘 되지 않는 문제
scaling을 통해 모든 값들이 0 근처에 오도록 만들어주어 해결.
넓게 퍼진 값을 0 근처로 모아준다 생각하면 좋을듯.
Additive attention: 단일 hidden layer의 feed-forward 네트워크를 사용하여 호환성 함수를 계산한다. $d_k$가 작을 때 성능이 더 좋다.
Dot-product attention: $d_k$가 더 클 때는 빠른 행렬곱 알고리즘에 힘입어 더 빠르고 더 공간 효율적이다.

Multi-Head Attention

$d_{model}$-dimension의 Q, K, V에 대해 작업하면 대신 각각을 $d_k, d_k, d_v$ dimension으로 linear projection하는 것에 이점이 있음.

따로 계산된 h쌍의 d_v차원 출력은 concat 후 한 번 더 선형 함수에 project시켜 최종 출력값이 됨.
num_heads의 차원을 가지는 Q, K, V에 대해 num_heads개의 병렬 attention 수행.
각 attention값 행렬을 attention head라고 부름.
각 가중치 행렬의 값은 8개의 attention head마다 전부 다름.
어텐션을 병렬로 수행하여 다른 시각으로 정보를 수집하기 위함.

$\text {MultiHead}(Q, K, V ) = \text{Concat}(\text{head}_1, ..., \text {head}_h)W^O$ $\text {where head}_i = \text {Attention}(QW_i^Q, KW_i^ K, VW_i^V )$

$W^Q_i ∈ \mathbb R^{d_{model}×d_q}$
$W^K_i ∈ \mathbb R^{d_{model}×d_k}$
$W^V_i ∈ \mathbb R^{d_{model}×d_v}$
$W^O ∈ \mathbb R^{hd_v×d_{model}}$
논문에서 $h=8,d_k=d_v=d_{model}/h=64$
각 헤드마다 64개의 결과가 출력되고 8개의 헤드가 있으므로 8x64개의 벡터 출력.

Applications

encoder-decoder attention

Decoder의 두 번째 attention.
query는 이전 디코더 layer에서 오며 memory key와 value는 encoder의 출력에서 온다.
디코더가 입력의 모든 위치(원소)를 고려할 수 있도록 한다.

Masked Attention

auto-regressive 속성을 보존하기 위해 디코더는 출력을 생성할 시 다음 출력을 고려해서는 안 된다. 즉 이전에 설명한 masking을 통해 이전 원소는 참조할 수 없도록 한다.
이 masking은 dot-product를 수행할 때 −∞로 설정함으로써 masking out시킨다.
이렇게 설정되면 softmax를 통과할 때 0이 되므로 masking의 목적이 달성된다.

Position-wise Feed-Forward Networks

encoder와 decoder에 포함된 FC feed-forward network.

ReLU activation function과 2개의 선형변환 포함.

$\text{FFN}(x) = \max(0, xW_1+b_1)W_2 +b_2$

논문에서, $d_{model} = 512, d_{ff}=2048$

Positional Encoding

sequence에 있는 원소들의 위치에 대한 정보를 넣어주기 위한 방법.

$PE_{(pos, 2i)} = \sin(pos/10000^{2i/d_{model}})$

$PE_{(pos, 2i+1)} = \cos(pos/10000^{2i/d_{model}})$

$pos$: 입력 문장에서 embedding vector 위치
$i$: embedding vector 내 dimension index
encoder와 decoder 밑부분에 추가.
embedding과 같은 $d_{model}$ 차원을 가져 더할 수 있다.
학습 때보다 긴 sequence를 만나도 추정이 가능하기 때문에 sin함수 선택.

각 차원에서 서로 다른 주기를 가진 sin&cos 동시에 사용

sin&cos 동시 사용

동일한 값에 대해 서로 다른 주파수 패턴 적용
위치 정보를 더 풍부하게 표현
하나가 겹쳐도 다른 하나가 달라 겹치지 않음.

주기

주기를 서로 다르게 하여 위치가 다른 단어의 positional embedding이 겹치지 않음.
ex) $[\sin\left(\frac{\text{pos}}{10000^{0/4}}\right), \cos\left(\frac{\text{pos}}{10000^{1/4}}\right), \sin\left(\frac{\text{pos}}{10000^{2/4}}\right), \cos\left(\frac{\text{pos}}{10000^{3/4}}\right)$
i가 커질수록 k값이 작아져 더 긴 주기를 생성함.

Training

영-독 번역: WMT 2014 데이터셋 (450만 문장 쌍), Byte-Pair Encoding(BPE) 사용, 공유 어휘 크기 약 37,000개.
영-프 번역: WMT 2014 데이터셋 (3,600만 문장), WordPiece 어휘 크기 32,000개.
문장 쌍은 시퀀스 길이에 따라 배치. 배치 크기는 약 25,000개의 소스 및 타겟 토큰 포함.

Settings

Hardware

기본 모델(Base):
- NVIDIA P100 GPU 8대 사용, 100,000 steps (약 12시간 소요).
- step당 0.4초 소요.
대형 모델(Big):
- 300,000 steps (약 3.5일 소요), step 당 1.0초 소요.

Optimizer

Adam 옵티마이저: $β_1=0.9, β_2=0.98, ϵ=10^{−9}.$
Learning rate schedule: $lrate = d_{model}^{-0.5} \cdot \min(step^{-0.5}, step \cdot warmup\_steps^{-1.5})$
$warmup\_steps=4000$ 설정.

Regularization

드롭아웃: 서브 레이어와 임베딩에 드롭아웃 $P_{drop} = 0.1$ 적용.
Label Smoothing: $\epsilon_{ls} = 0.1$ 사용

Result

기계 번역

영-독 번역:
- Transformer (Big): BLEU 28.4, 기존 최고 성능보다 2.0 이상 향상.
- Base 모델: BLEU 27.3, 비용 대비 성능 우수.
영-프 번역:
- Transformer (Big): BLEU 41.0, 기존 최고 단일 모델을 초과.

모델 변형 실험

헤드 수: 1개는 성능 저하(BLEU 24.9), 너무 많아도 성능 하락.
모델 크기: 모델 크기 증가 시 성능 향상(BLEU 26.2).
드롭아웃: 드롭아웃이 과적합 방지에 효과적.
위치 임베딩: 기존의 사인파 방식과 유사한 성능.

영어 구성 구문 분석

Wall Street Journal(WSJ) 데이터셋에서 실험.
결과:
- WSJ 데이터만 사용한 경우: F1 91.3 (최고 모델에 근접).
- 반-지도 학습(semi-supervised) 설정: F1 92.7 (기존 최고 성능 초과).

References

[E2E 자율주행] (7)-8 Challenges: Long-tailed Distribution

구코딩 — Wed, 1 Jan 2025 23:58:09 +0900

Long-tailed Distribution

일반적인 상황이 대부분이고, 안전과 직결적인 상황이 드물게 발생하는 data imbalance 문제.

자주 발생하는 평범한 상황(차선을 따라가는 주행 등)이 대부분을 차지하는 반면, 안전에 중요한 드문 시나리오(사고 위험 상황 등)는 데이터셋에서 매우 희소하고 다양성이 부족합니다.
이로 인해 모델이 드문 상황에서 일반화하고 적응하는 데 어려움을 겪음.
많은 연구가 시뮬레이터에서 적대적 시나리오에 초점을 맞추고 있지만, 실제 데이터를 더 잘 활용하여 중요한 시나리오를 탐색하고 이를 시뮬레이션에 잠재적으로 적응시키는 것도 중요합니다.
안전에 중요한 시나리오를 대상으로 엔드-투-엔드 자율주행 방법을 평가하기 위해 체계적이고, 엄격하며, 포괄적이고 현실적인 테스트 프레임워크가 필수적입니다.

이를 완화하기 위해 다양한 데이터 처리 방법이 사용됨.

over-sampling
under-sampling
data augmentation
weighting-based approaches
handcrafted scenarios: 시뮬레이션에서 더욱 다양한 데이터를 생성
LBC: privileged agent를 활용하여 다양한 내비게이션 명령에 조건화된 imaginary supervisions 생성.
LAV: 데이터 다양성을 촉진하기 위해 non-ego agents의 trajectory를 학습에 포함합니다.
희귀 사건 확률의 평가를 가속화하기 위해 중요 샘플링 전략을 적용한 시뮬레이션 프레임워크 제안.
adversarial attack을 통해 데이터 기반 방식으로 안전에 중요한 시나리오를 생성.
Bayesian Optimization을 사용하여 적대적 시나리오를 생성합니다.
Learning to collide: 운전 시나리오를 building blocks의 joint distribution로 표현하고, policy gradient RL을 적용해 위험한 시나리오 생성.
AdvSim: 물리적인 타당성을 유지하면서 실패를 유발하도록 agent의 trajectory 수정.
KING: 미분 가능한 kinematics model을 통한 기울기를 사용하여 safety-critical perturbation을 위한 최적화 알고리즘을 제안.

[E2E 자율주행] (7)-7 Challenges: Causal Confusion

구코딩 — Sun, 29 Dec 2024 15:15:44 +0900

End-to-End Autonomous Driving과 관련된 다양한 게시물은
Introduction에서 확인하실 수 있습니다.

Causal Confusion

모델이 본질적 인과 관계를 학습하지 못하고 비본질적 상관관계(Spurious Correlations)에 의존하는 현상

모델이 데이터에서 중요한 요인을 파악하기보다는, 쉽게 사용할 수 있는 shortcut 정보에 지나치게 의존함으로써 발생.
자율주행 차량의 현재 행동은 속도나 과거 궤적과 같은 low-dimensional spurious feature와 강하게 연관될 수 있음.
End-to-End 모델이 이러한 특징에 의존하게 되면 causal confusion이 발생할 수 있다.
이는 모델이 진정한 인과 관계를 학습하지 못하고, 단순히 부차적 패턴에 의존하게 되는 문제를 초래함.

Copycat Problem

운전은 시간적 연속성을 가지며, 과거의 움직임이 다음 행동을 예측하는 데 유용하다.
그러나 여러 프레임을 학습에 활용한 방법은 이러한 shortcut에 과도하게 의존하게 되어 배포 시 치명적인 실패를 겪을 수 있다.
더 많은 정보에 접근할수록 성능이 저하됨.

Imitation Learning

단일 입력 프레임을 사용하여 조향 예측을 수행함으로써 causal confusion을 피하고자 함.
현재 최첨단 모방 학습 방법에서도 선호되는 솔루션.
단일 프레임을 사용하는 것은 주변 행위자들의 움직임을 추출하기 어렵게 만든다.

Speed Measurement

예를 들어, 신호등이 빨간불일 때 정차해 있는 차량은 여러 프레임 동안 속도가 0인 상태에서 브레이크를 밟는 행동을 반복하게 된다. 이로 인해 차량의 행동이 속도와 매우 높은 상관관계를 가지게 되는데, 신호등이 빨간불에서 초록불로 바뀔 때에야 이러한 상관관계가 무너진다.

해결 방법

Adversarial Model

bottleneck representation에서 spurious temporal correlations를 제거하기 위한 adversarial model 학습
Adversarial Model: 자율 주행 차량의 과거 행동을 예측하도록 학습.
min-max optimization: 네트워크가 중간 계층에서 adversarial model의 과거 정보를 제거하도록 학습.
MuJoCo에서는 효과적이지만, 복잡한 vision-based driving에는 어려움.

OREO

이미지를 semantic object를 나타내는 discrete code로 매핑, 동일한 discrete code를 공유하는 유닛에 random dropout mask 적용.
이는 Atari 환경에서 혼란스러운 상황(confounded scenarios)을 해결하는 데 도움이 된다.

ChauffeurNet: 과거 Ego-Motion을 중간 BEV 표현으로 활용, 훈련 중 50% 확률로 드롭아웃.
Upweighting Keyframe: training loss에서 decision change에 발생하는 주요 keyframes의 가중치를 증가.
(이러한 keyframe들은 과거를 extrapolate하여 예측할 수 없는 프레임)
PrimeNet: single-frame 모델의 예측 결과를 multi-frame 모델에 추가 입력으로 제공하는 앙상블 방식을 사용하여, keyframe에 비해 성능 향상.
- 동일한 접근법을 사용하나, action 대신 action residual을 사용하는 방법도 있음.
LiDAR 사용: 단일 이미지와 LiDAR 데이터를 결합, point cloud를 하나의 좌표계로 재정렬.→ Ego-Motion 정보를 제거하면서 주변 차량의 상태 정보 유지.

현재 과제:

위 방법들은 causal confusion을 해결하기 위해 단순화된 환경에서 테스트되었으나, 최신 자율주행에서 성능 개선을 입증하는 것이 여전히 과제로 남아 있음.

[E2E 자율주행] (7)-6 Challenges: Interpretability

구코딩 — Wed, 18 Dec 2024 10:14:34 +0900

End-to-End Autonomous Driving과 관련된 다양한 게시물은
Introduction에서 확인하실 수 있습니다.

Interpretability

자율주행에서 중요한 역할.
엔지니어가 시스템을 더 잘 debug하게 해줌
사회적 관점(societal perspective)에서 performance 보장
public acceptance 촉진.
‘black box’라고 불리는 E2E 자율주행에서 interpretability를 가진다는 것은, 필수적이고 중요한 과제.

Sliency map(중요도 맵)

훈련된 모델이 주어지면 X-AI 기법을 적용해 얻을 수 있음.
모델이 planning에 의존하는 visual input의 특정한 영역 강조
한정된 정보를 제공하고 효율성과 타당성(validity) 평가 어려움.
model design에서 interpretability를 직접적으로 향상시키는 end-to-end frameworks에 중점.

Attention Visualization

어느 정도의 interpretability를 제공함.

학습된 attention weight를 적용하여 중간 feature map에서 중요한 feature 수집.
attention weight: 다양한 object regeion or fixed grid의 ROI pooling features를 적응적으로 결합
NEAT: 반복적으로 feature를 수집하여 attention weight를 예측하고 수집된(aggregated) feature를 정제함.
Transformer attention block: 다양한 sensor input을 잘 용합하기 위해 사용.
Attention map: 주행 결정을 위한 input의 중요한 영역을 보여줌.
PlanT: attention layers가 다양한 차량에서의 feature를 처리하고, 해당 action에 대한 interpretable insight 제공.
saliency method와 유사하게, attention map이 model이 집중하는 것에 대한 straightforward clues를 제공한다고 하더라도, 충실성과 유용성은 여전한 한계를 보임.

Interpretable Tasks

다양한 IL-based works는 latent feature를 policy prediction 외에도 다른 의미 있는 정보로 decoding하여 interpretability를 제공.

semantic segmentation, depth estimation, object detection, affordance predictions, motion prediction, and gaze map estimation 등

이러한 방법들이 해석 가능한 정보를 제공하지만, 대부분은 auxiliary tasks로써 예측을 할 뿐, 최종 주행 결정에서 명시적인 impact는 없음.

최종 행동에 이러한 output을 사용하는 경우, 추가적인 안전 사항을 통합시켜야.

Rules Integration and Cost Learning

Inverse Optimal Cost에서처럼, cost learning-based 방식은 기존 모듈러 방식과의 유사성 공유을 공유하므로 일정 수준 이상의 interpretability를 나타냄.

NMP & DSDNet: Detection & motion 예측 결과와 함께 cost volume 구성.
P3: 예측된 semantic occupancy map, comfort, traffic rules constraints를 결합하여 cost function구성
probabilistic occupancy and temporal motion fields, emergent occupancy, and freespace 등의 다양한 표현이 sampled trajectory를 점수화하는데 도움을 줌.

human expertise와 pre-defined rules가 명시적으로 포함되어 trajectory scoring을 형성하고 향상된 robustness와 안전성을 입증함

pre-defined rules: perception&prediction의 결과에 기반을 둔 safety, comfort, traffic rules, and routes 등

Linguistic Explainability

Interpretability는 인간이 시스템을 이해하는데 도움을 주는 것이므로 자연어는 이 목적에 적합함.

운전 동영상 or 이미지와 descriptions/explanation을 결합한 데이터셋 개발하고, control & explanation을 모두 갖춘 end-to-end 모델 제안
최근, decision 관련 설명을 제공하기 위해 LM/VLM을 사용해 multi-modality와 foundation model의 발전에 의존함. (Language as input 다시 보면 좋을듯)
BEEF: 예측된 trajectory와 중간 perception feature를 융합하여 결정의 정당성 예측
ADAPT: action, narration, reasoning을 공통으로 추정하는 Transformer-based network를 제안

Uncertainty Modeling

딥러닝 모델의 출력 신뢰도를 정량적으로 해석하는 접근법.

불확실성을 분석하면 설계자와 사용자가 개선이나 개입이 필요한 사례를 식별할 수 있다.

Aleatoric Uncertainty (우연적 불확실성):

작업 자체에 내재된 불확실성.

처리 방법:

불확실성을 네트워크의 예측 변수로 설정해 운전 행동/경로 계획을 모델링.
불확실성에 따라 최종 행동을 결정:
- 여러 행동 중 가장 낮은 불확실성을 선택.
- 불확실성을 기반으로 가중치를 부여해 행동을 결합.

Epistemic Uncertainty (지식적 불확실성):

제한된 데이터 또는 모델의 한계로 인한 불확실성.

처리 방법:

모델에서 확률적 정규화(stochastic regularization)를 사용해 다중 추론을 수행해 불확실성을 측정(단, 실시간에는 비효율적).
전문가 모델 앙상블을 사용해 불확실성을 집계하고 안전한 경로 계획 수행(Loquercio et al., Filos et al.).

현재 과제:

불확실성은 주로 하드코딩된 규칙과 결합해 사용되며, 자율주행에 적합한 더 나은 불확실성 모델링 및 활용 방법의 탐구가 필요함.