결과 요약

• 현재 전체 약 400개의 라벨을 대상으로 CLIP 추론을 수행하였을 때 **77.68%**의 정확도를 보임
• 또한 4517개의 틀린 데이터 중 2503개가 같은 대분류내에서 틀림 (참치김치찌개, 돼지고기김치찌개)
• 모델은 소불고기, 불고기, 돼지고기볶음 등의 세밀한 분류에 어려워하는 경향을 보임

실험 환경

• baseline 2.0 spec을 따름
• Baseline 2.0 Tech Spec
• 10 epoch으로 학습한 모델 사용

결과 지표 분석

학습이 완료된 모델을 CLIP에 text encoder에서 특정 batch size 만큼의 label이 주어졌을 때 validation을 수행

이때 검증 데이터는 전체 test 데이터셋 중 10%를 랜덤으로 샘플링하여 실험 수행

text encoder에 전체 label이 주어졌을 때.

결과 분석

우리가 풀고자 하는 real world의 문제는 음식 사진이 주어졌을 때 전체 라벨 (약 400여개)의 클래스 중 올바른 클래스를 예측하는 것으로 가정