rank-1, rank-5 및 rank-N 정확도의 개념에 대해 논의하겠습니다. 특히 컴퓨터 비전 및 이미지 분류 공간에서 딥러닝 문헌을 읽을 때 ranked accuracy라는 개념을 접하게 될 것입니다. 예를 들어 ImageNet 데이터 세트에서 평가된 머신 러닝 방법을 제시하는 거의 모든 논문은 rank-1 및 rank-5 정확도 측면에서 결과를 제시합니다.
rank-1과 rank-5 정확도는 정확히 무엇인지 그리고 기존의 정확도 (즉, 정밀도)와 어떻게 다른지 알아보겠습니다. ranked accuracy를Flowers-17 및 CALTECH-101 데이터 세트에서 훈련 된 기계 학습 모델에 적용합니다.
Ranked Accuracy
ranked accuracy는 다음 예를 통해 설명할 수 있습니다. 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭 등 10가지 클래스가 포함 된 CIFAR-10 데이터 세트에서 훈련 된 신경망을 평가한다고 가정 해 보겠습니다.
입력 이미지(개구리)가 주어지면 신경망에 각 클래스 레이블에 대한 확률을 계산하도록 합니다. 그러면 신경망은 표(왼쪽)에 나열된 클래스 레이블 확률을 반환합니다.
입력 이미지 (개구리)가 주어지면 신경망에 각 클래스 레이블에 대한 확률을 계산하도록 요청합니다. 그러면 신경망은 표 (왼쪽)에 나열된 클래스 레이블 확률을 반환합니다.
확률이 가장 큰 클래스 레이블은 실제로 정확한 예측 인 frog(97.3 %)입니다. 이 과정을 반복한다면 :
1단계 : 데이터 세트의 각 입력 이미지에 대한 클래스 레이블 확률 계산합니다.
2단계 : 실측 레이블이 확률이 가장 큰 예측 클래스 레이블과 같은지 결정합니다.
3단계 : 2단계가 참인 횟수를 계산합니다.
우리는 rank-1 정확도에 도달하는 것이 목표입니다. 따라서 rank-1 정확도는 최상위 예측이 실측 레이블과 일치하는 예측의 백분율입니다. 이것이 우리가 계산하는 데 사용되는 "표준"유형의 정확도입니다. 올바른 예측의 총 수를 데이터 포인트 수로 나눕니다.
그런 다음 이 개념을 rank-5 정확도로 확장 할 수 있습니다. 1위 예측에만 신경을 쓰지 않고 상위 5개 예측까지 고려합니다. 그러면 평가 프로세스는 다음과 같습니다.
1 단계 : 데이터 세트의 입력 이미지에 대한 클래스 레이블 확률을 계산합니다.
2단계 : 예측된 클래스 레이블 확률을 내림차순으로 정렬하여 확률이 더 높은 레이블이 목록의 맨 앞에 배치되도록합니다.
3단계 : 2단계의 상위 5개 예측 레이블에 실측 레이블이 있는지 확인합니다.
4단계 : 3단계가 참인 횟수를 계산합니다.
rank-5는 단순히 rank-1 정확도의 확장입니다. 네트워크에서 상위 5 개의 예측을 고려하기 때문입니다 . 예를 들어 임의의 신경망을 기반으로 CIFAR-10 범주로 분류 할 입력 이미지를 다시 생각해 보겠습니다 (자동차). 네트워크를 통과 한 후 표(오른쪽)에 자세히 설명 된 클래스 레이블 확률을 얻습니다.
우리의 이미지는 분명히 자동차입니다. 그러나 우리 네트워크는 트럭을 최고의 예측으로 판단했습니다.
– 이 것은 rank-1 정확도에 대한 잘못된 예측으로 간주됩니다. 그러나 네트워크의 상위 5개 예측을 살펴보면 자동차가 실제로 2위 예측이라는 것을 알 수 있으며 이는 rank-5를 계산할 때 정확합니다. 이 접근 방식은 임의의 랭크 N 정확도로 쉽게 확장 될 수 있습니다. 그러나 우리는 일반적으로 rank-1 및 rank-5 정확도만 계산합니다. 이는 왜 rank-5 정확도를 계산해야 하는가?에 대한 의문이 생길 수 있습니다.
CIFAR-10 데이터 세트의 경우 rank-5 정확도를 계산하는 것은 약간 어리석은 일이지만 크고 까다로운 데이터 세트, 특히 세분화 된 분류의 경우 특정 CNN에서 rank-5개 예측을 보는 것이 도움이 되는 경우가 많습니다. 아마도 우리가 rank-1 및 rank-5 정확도를 계산하는 이유에 대한 가장 좋은 예는 Szegedy et al. 왼쪽에는 시베리안 허스키, 오른쪽에는 에스키모 개가 있습니다. 대부분의 인간은 두 동물의 차이를 인식하지 못할 것입니다. 그러나이 두 클래스는 ImageNet 데이터 세트에서 유효한 레이블입니다.
유사한 특성을 가진 많은 클래스 레이블을 포함하는 대규모 데이터 세트로 작업 할 때 네트워크 성능을 확인하기 위해 rank-1 정확도의 확장으로 rank-5 정확도를 종종 검사합니다. 이상적인 세계에서 rank-1 정확도는 rank-5 정확도와 동일한 비율로 증가하지만 까다롭거나 실제 데이터 세트에서는 항상 그런 것은 아닙니다.
따라서 학습이 진행중에도 여전히 "학습"중인지 확인하기 위해 rank-5 정확도도 조사합니다. rank-1 정확도가 훈련이 끝날 무렵 정체되는 경우 일 수 있지만, 우리가 만든 네트워크가 더 많은 차별적 기능을 학습함에 따라 rank-5 정확도는 계속 향상됩니다 (그러나 rank-1 예측을 추월 할만큼 차별적이지는 않음).