9._.coding

contrastive learning을 위한 dynamic dictionary를 구축하는 메커니즘https://arxiv.org/pdf/1911.05722특징unsupervised visual representation learningcontrastive learning을 dictionary 형태로 바라봄.queue와 moving-average encoder 사용.downstream task에 잘 사용 가능 DictionaryLargecontinuous, high-dimensional visual space에서 sampling을 잘 하기 위해서 dictionary size가 커야 함.기저에 존재하는 연속적이고 고차원적인 시각 공간을 더 잘 샘플링할 수 있음.Queue현재 mini-batch의 인코딩된 표..

Transformer를 sequences of image patches에 직접 적용해도 classification에서 뛰어난 성능을 보임!특징NLP에서 사용되는 Transformer를 Vision Task에 적용CNN구조 대부분을 Transformer로 대체 (입력단인 Sequences of Image Patch에서만 제외)대용량 데이터셋 Pre-Train → Small Image 데이터셋에서 Transfer Learning훨씬 적은 계산 리소스로, 우수한 결과를 얻음단, 많은 데이터를 사전 학습해야 된다는 제한사항 있음이미지를 patch의 sequence로 해석한 뒤, NLP에서 사용되는 표준 Transformer 인코더로 처리단순, 확장 가능, 대규모 데이터셋으로 사전 학습 → 좋은 성능SOTA와 동..

Attention mechanism만을 사용해 인코더와 디코더를 구성한 새로운 network특징CNN과 RNN을 완전히 제거하여 간단하고 병렬화가 용이하며, 훈련 시간도 크게 단축됨.Attention Mechanism만을 사용해 입력/출력 간 global dependencies 학습.큰/한정된 데이터셋에서 모두 우수한 성능을 보임. Multi-Head Attention동일한 데이터에 여러 개의 어텐션 메커니즘을 병렬로 적용모델은 데이터의 다양한 측면을 동시에 고려- 서로 다른 의미적/구문적 관계 학습 가능.다양한 의존성 동시 고려더 풍부하고 다차원적인 데이터 표현 수집/분석 Self-Attention같은 문장 내에서 단어들 간의 관계 고려Q, K, V가 모두 동일한 embedding vector에서 도출..

Long-tailed Distribution일반적인 상황이 대부분이고, 안전과 직결적인 상황이 드물게 발생하는 data imbalance 문제.자주 발생하는 평범한 상황(차선을 따라가는 주행 등)이 대부분을 차지하는 반면, 안전에 중요한 드문 시나리오(사고 위험 상황 등)는 데이터셋에서 매우 희소하고 다양성이 부족합니다.이로 인해 모델이 드문 상황에서 일반화하고 적응하는 데 어려움을 겪음.많은 연구가 시뮬레이터에서 적대적 시나리오에 초점을 맞추고 있지만, 실제 데이터를 더 잘 활용하여 중요한 시나리오를 탐색하고 이를 시뮬레이션에 잠재적으로 적응시키는 것도 중요합니다.안전에 중요한 시나리오를 대상으로 엔드-투-엔드 자율주행 방법을 평가하기 위해 체계적이고, 엄격하며, 포괄적이고 현실적인 테스트 프레임워크가..