AI 트레이닝 동적을 연구하는 과학 : 포스트 제작에서만 해결하는 것만은 아니야

AI에 대한 과학적 이해는 무엇을 의미할까요? 모델은 정적인 물체가 아니라 시간이 지남에 따라 데이터, 목표, 아키텍처, 최적화 동적에 의해 형성되는 과정의 순간적인 사진입니다. 그러나 AI 연구에서는 모델을 고정된 물체로 간주하고 훈련 후 행동을 분석하기보다 왜 그들이 발생하는지 물어보지 않습니다. 이 논문은 AI에 대한 과학이 후행적 보완을 넘어서 훈련 동적이 모델 행동을 생성하는 데 관여하는지 연구해야 한다고 주장합니다. 이러한 과학은 결과를 초기 훈련 신호에서 예측하고 경로가 잘못되면 intervene하고 마지막으로 원하는 특성이 더 신뢰할 수 있도록 생산되는 훈련 절차를 설계하는 더 강력한 형태의 이해를 지원해야 합니다. 잘못된 손실을 예측하는 규모 법칙이 성공을 확장하는 것은 가능성이 있습니다. 그러나 성능, 편향, 강도, 안전 관련 동작과 같은 기능성, 편향, 강도, 안전 관련 동작과 같은 요소에 대한 성공을 확장하는 것이 도전입니다. 우리는 과학의 역사와 철학에 근거한 이러한 이론의 요구 사항을 구체화하고, 메커니즘 해석성, 공정성, 기억력, 단순성 편향에 대한 진전을 검토하고, 구체적인 개방 문제를 식별합니다.