원인지식: AI 학습 데이터셋의 레코드 및 토큰 수준 데이터 원천성

원인지식: 레코드 및 토큰 수준 데이터 원천성

원인지식(ob)은 레코드 및 토큰 수준의 데이터 원천성 시스템으로, AI 모델 훈련 데이터셋에서 데이터 제공자가 삭제 요청을 하면, 모델 훈련자들이 실질적인 문제를 맞이하게 됩니다. 기존의 원천성 시스템은 파일 또는 데이터셋의 수준에서 작동하여, 비도태적 오버-삭제를 초래합니다.

원인지식(ob)은 데이터 처리 파이프라인에서 저자 정체성을 전파하고, 결정적 쿼리에서 정확한 잊어버리 집합으로 revocation 요청을 해결합니다. 이를 통해, 모델 훈련자는 정확한 데이터를 삭제할 수 있습니다.

• 레코드 수준의 원천성: 원인지식(ob)은 레코드 수준의 원천성을 제공하여, 데이터 제공자가 삭제 요청할 때 정확한 레코드를 삭제할 수 있습니다.
• 토큰 수준의 원천성: 원인지식(ob)은 토큰 수준의 원천성을 제공하여, 데이터 제공자가 삭제 요청할 때 정확한 토큰을 삭제할 수 있습니다.
• 데이터 처리 파이프라인: 원인지식(ob)은 데이터 처리 파이프라인에서 저자 정체성을 전파하여, 데이터 제공자가 삭제 요청할 때 정확한 데이터를 삭제할 수 있습니다.
• 결정적 쿼리: 원인지식(ob)은 결정적 쿼리에서 정확한 잊어버리 집합으로 revocation 요청을 해결하여, 모델 훈련자가 정확한 데이터를 삭제할 수 있습니다.

실험 결과

원인지식(ob)은 219,555개의 위키 페이지에서 실험을 수행하여, 레코드 수준의 원천성이 데이터셋 수준의 원천성보다 더 정확한 결과를 제공한다는 것을 확인했습니다.

실험 결과를 요약하면 다음과 같습니다.

• 레코드 수준의 원천성: 원인지식(ob)은 데이터셋 수준의 원천성보다 101배에서 1.3배까지 정확한 결과를 제공합니다.
• 토큰 수준의 원천성: 원인지식(ob)은 데이터셋 수준의 원천성보다 1.3%에서 4.0%까지의 성능 향상을 제공합니다.
• 데이터 처리 파이프라인: 원인지식(ob)은 데이터셋 수준의 원천성보다 2.1%에서 19.0%까지의 성능 향상을 제공합니다.
• 결정적 쿼리: 원인지식(ob)은 데이터셋 수준의 원천성보다 42%까지의 성능 향상을 제공합니다.