annot레이터 안전 정책 이해를 위한 해석 가능성

AI 출력의 안전성과 위험성을 정의하는 安전 정책은 데이터 레이블링과 모델 개발을 지침으로 삼지만, 레이블링에 대한 의견 차이는 광범위하여 나타나며, 운영 실패 (레이블러가 업무를 이해하거나 수행하지 못함), 정책의 불명확성 (정책의 단서가 해석의 여지를 남김), 또는 가치의 다양성 (다른 레이블러가 안전성을 다른 시각으로 보는 경우)과 같은 여러 원인으로부터 발생할 수 있다. 이러한 원인을 구별하는 것은 중요하다. 예를 들어, 운영 실패는 품질 관리를 요구하고, 불명확성은 정책의 명확화를 요구하며, 다양성은 다양한 관점을 통합하기 위한 토론을 요구한다. 그러나 레이블러가 왜 의견을 달리하는지 이해하는 것은 어렵다. 레이블러가 자신의 사유를 직접 묻는 것은 비용이 많이 들고, 인간 레이블러와 LLM 레이블러 모두에게는 자기 보고서의 사유가 실제 결정 과정과 일치하지 않기 때문에 신뢰할 수 없다. 레이블러의 내부 안전 정책을 레이블링 행동만으로 학습하는 해석 가능한 모델인 Annotator Policy Models (APMs)을 소개한다. APM은 추가적인 레이블링 노력 없이 레이블러의 사유를 드러내고 비교할 수 있다. APM은 레이블러의 안전 정책을 (>80% 정확도) 정확하게 모델링하고, 가상 편집에 대한 예측을 충실하게 예측하고, 제어된 환경에서 알려진 정책 차이를 회복한다. APM을 LLM과 인간 레이블링에 적용하여, 두 가지 주요 응용 프로그램을 보여준다: (1) 정책의 불명확성을 드러내는 레이블러가 안전 지침을 다른 방식으로 해석하는 방법을 드러내는 것, (2) 가치의 다양성을 드러내는 안전 우선순위가 인구학적 그룹 간에 체계적인 차이가 있는 경우. 이러한 기능은 더 구체적이고 투명하며 포용적인 안전 정책 설계를 지원한다.