[Dataset] ObjectNet download / ImageNet-V2 dataset download / 무엇인가

ObjectNet / ImageNet-V2 정리

1. 왜 보는가

ImageNet validation 성능만으로는 모델의 실제 일반화 성능을 충분히 보기 어려움.

그래서 보통 ImageNet 계열 OOD 평가셋으로 함께 확인함.

그중 대표적으로 많이 쓰는 것이 ImageNet-V2와 ObjectNet임.

ImageNet-V2는 원래 ImageNet과 같은 1,000개 클래스를 유지하면서 새로 수집한 테스트셋이고,

ObjectNet은 배경, 회전, 촬영 시점 편향을 줄여서 모델의 강건성을 더 엄격하게 보는 테스트셋임. (GitHub)

2. ImageNet-V2가 무엇인가

ImageNet-V2는 ImageNet benchmark를 다시 점검하기 위해 새로 만든 테스트셋임.

원래 ImageNet과 같은 클래스 체계를 따르되, 새 이미지를 수집해 기존 validation set과의 중복이나 적응 문제를 줄이는 목적이 있음.

TensorFlow Datasets 문서 기준으로 클래스당 10장씩 선택된 버전들이 있으며, 이미지 선택 전략에 따라 matched-frequency, threshold-0.7, top-images의 세 가지 변형이 있음.

실험에서는 보통 matched-frequency를 가장 많이 사용함. (GitHub)

3. ObjectNet이 무엇인가

ObjectNet은 실제 물체 인식을 더 어렵고 현실적으로 평가하기 위해 만든 테스트셋임.

공식 소개에서는 배경, 물체 회전, 촬영 시점을 통제하거나 무작위화한 large real-world test set이라고 설명함.

쉽게 말하면, ImageNet에서 잘 먹히는 중심 배치, 전형적 배경, 전형적 각도 같은 편향이 덜한 환경에서 모델이 진짜 물체를 잘 인식하는지 보는 셋임.

그래서 ImageNet에서는 높은 정확도를 보이던 모델도 ObjectNet에서는 성능이 크게 떨어지는 경우가 많음. (ObjectNet)

4. ObjectNet, ImageNet-V2를 해보라?

대개는 “데이터셋을 새로 학습하라”는 뜻보다는, 지금 만든 모델을 이 평가셋들에서도 테스트해보라는 의미에 가까움.

즉 학습 데이터는 그대로 두고, 평가를 ImageNet validation뿐 아니라 ImageNet-V2와 ObjectNet까지 확장해서 distribution shift, robustness, generalization을 보라는 뜻

특히 representation learning, robustness, fine-tuning 논문에서는 ImageNet, ImageNet-V2, ObjectNet, ImageNet-A/R/Sketch를 함께 제시하는 경우가 많음. (ObjectNet)

---

다운로드 방법

5. ImageNet-V2 다운로드

ImageNet-V2의 과거 S3 direct link는 현재 403/Forbidden이 발생할 수 있으며, 공식 GitHub 저장소는 현재 실제 테스트셋 위치를 Hugging Face dataset 페이지로 안내하고 있음.

 

https://github.com/modestyachts/ImageNetV2

GitHub - modestyachts/ImageNetV2: A new test set for ImageNet

hf download vaishaal/ImageNetV2 imagenetv2-matched-frequency.tar.gz --repo-type dataset

cd /home/jovyan/_dataset/imagenetv2-matched-frequency

tar -xvf /home/jovyan/.cache/huggingface/hub/datasets--vaishaal--ImageNetV2/snapshots/d626240be2538720e83103a0e1178d24aca8b12c/imagenetv2-matched-frequency.tar.gz

 

 

matched-frequency	ImageNet 분포와 가장 유사, 가장 많이 사용
threshold0.7	품질 기준 필터링
top-images	사람이 고른 대표 이미지

 

보통 논문에서는 matched-frequency 사용함

---

6. ObjectNet 다운로드

ObjectNet 공식 다운로드 페이지에 따르면 데이터셋은 184GB zip 파일로 제공되며, 고해상도 PNG 이미지로 구성됨. 공식 다운로드 링크와 백업 Dropbox 링크가 함께 제공됨. 또한 unusual license를 인지시키기 위해 zip 파일에 비밀번호가 걸려 있고, 공식 페이지에 비밀번호가 명시되어 있음. (ObjectNet)

mkdir -p data/objectnet
cd data/objectnet
wget https://objectnet.dev/downloads/objectnet-1.0.zip
unzip objectnet-1.0.zip

공식 페이지에 적힌 정보는 다음과 같음.

• 파일 크기: 184GB zip
• 포맷: high resolution PNG
• 비밀번호: objectnetisatestset (ObjectNet)

즉 다운로드 후 압축 해제 시 비밀번호를 넣어야 함. 라이선스가 일반적인 학습용 공개 데이터셋과 다를 수 있으므로, 반드시 공식 페이지의 라이선스와 사용 조건을 먼저 확인해야 함. (ObjectNet)

---

평가 시 실무적으로 알아둘 점

7. ImageNet-V2는 클래스 체계가 같음

ImageNet-V2는 ImageNet 1K와 같은 클래스 체계를 유지하므로, 보통 기존 ImageNet classifier를 그대로 평가하면 됨. 클래스 인덱스 매핑도 대체로 ImageNet 1K 기준을 따름. 그래서 zero-shot CLIP, linear probe, fine-tuned classifier 모두 쉽게 평가 가능함. (GitHub)

8. ObjectNet은 매핑을 확인해야 함

ObjectNet은 ImageNet과 완전히 동일한 평가 방식이 아님. 공식적으로는 실제 물체 인식 편향을 줄이기 위해 설계된 데이터셋이라, 실험 코드에서 ImageNet label space와 ObjectNet category 간 매핑 파일이나 평가 프로토콜을 함께 확인해야 하는 경우가 많음. 단순히 ImageNet validation 평가 코드에 그대로 넣는 것보다, 사용 중인 레포의 ObjectNet evaluation 방식을 따르는 편이 안전함. ObjectNet이 “test set” 성격임도 같이 염두에 두어야 함. (ObjectNet)

---

요약

• ImageNet-V2: ImageNet 1K를 다시 수집한 재평가용 테스트셋. 기존 ImageNet 대비 일반화 성능 확인용으로 많이 사용함. (GitHub)
• ObjectNet: 배경, 각도, 포즈 편향을 줄여 실제 물체 인식 강건성을 더 엄격하게 보는 테스트셋임. (ObjectNet)

ImageNet val	in-distribution
ImageNet-V2	mild shift
ObjectNet	strong shift

이 3개 비교하면:

• generalization
• robustness
• bias