AI 연속성의 평가 프레임워크: ATANT

ATANT은 AI 시스템의 연속성을 측정하기 위한 개방형 평가 프레임워크이다. 연속성은 AI 산업에서 생산된 메모리 구성 요소(라그 파이프라인, 벡터 데이터베이스, 긴 컨텍스트 창, 프로파일 레이어)가 실제로 연속성을 제공하는지 formally 정의하고 측정하는 것은 아직 없다. ATANT은 7개의 필수 속성을 정의하고, LLM이 평가 루프에 포함되지 않는 10점 평가 방법론을 소개한다. 또한 6개의 생애 영역에 걸쳐 1,835개의 검증 질문이 포함된 250개의 이야기로 구성된 이야기 테스트 코퍼스를 제공한다.

2026년 4월 9일 AI 자동 생성

ATANT: AI 연속성의 평가 프레임워크

ATANT은 AI 시스템의 연속성을 측정하기 위한 개방형 평가 프레임워크이다. 연속성은 AI 산업에서 생산된 메모리 구성 요소(라그 파이프라인, 벡터 데이터베이스, 긴 컨텍스트 창, 프로파일 레이어)가 실제로 연속성을 제공하는지 formally 정의하고 측정하는 것은 아직 없다.

ATANT의 7개의 필수 속성

persist: 시스템이 시간이 지남에 따라 데이터를 유지할 수 있는가?
update: 시스템이 새로운 정보를 업데이트 할 수 있는가?
disambiguate: 시스템이 같은 정보를 여러 가지 방식으로 해석할 수 있는가?
reconstruct: 시스템이 이전에 저장된 정보를 재구성할 수 있는가?
contextualize: 시스템이 정보를 특정 컨텍스트에서 해석할 수 있는가?
generalize: 시스템이 정보를 일반화할 수 있는가?
abstract: 시스템이 정보를 추상화할 수 있는가?

ATANT의 10점 평가 방법론

ATANT은 LLM이 평가 루프에 포함되지 않는 10점 평가 방법론을 소개한다. 이 방법론은 시스템의 연속성을 측정하기 위해 10개의 점을 평가한다.

ATANT의 이야기 테스트 코퍼스

ATANT은 6개의 생애 영역에 걸쳐 1,835개의 검증 질문이 포함된 250개의 이야기로 구성된 이야기 테스트 코퍼스를 제공한다.

ATANT의 결과

ATANT은 5개의 테스트 스위트를 평가한 결과를 제공한다. 결과는 다음과 같다.

58% (기존 아키텍처)
100% (이미지 모드)
100% (50-story 누적 모드)
96% (250-story 누적 모드)

ATANT은 시스템-agnostic, 모델-Independent, 그리고 연속성 시스템을 빌드하고 유효화하기 위한 sequenced 방법론이다.

ATANT의 프레임워크 사양, 예시 이야기, 그리고 평가 프로토콜은 https://github.com/Kenotic-Labs/ATANT 에서 доступ할 수 있다. 전체 250 이야기 코퍼스는 incrementally 릴리즈될 예정이다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

AI 모델 8월 19일

Anthropic의 연간 매출액 6,500억 달러로 급증

모델 제작자(MODEL MAKER)는 2개월 만에 연간 $18 억 달러의 매출을 추가했다.

AI 모델 8월 19일

아마존이 책을 처음으로 판매하기 시작한 이후로 귀중한 책을 파괴하여 AI를 교육하고 있습니다.

진귀한 책들은 대규모 언어 모델(LLM) 교육에 매우 가치가 높다. 왜냐하면 이 모델들은 이미 온라인에서 접근할 수 있는 모든 것을 통해 교육을 받았기 때문이다.

AI 모델 8월 16일

구글 지니미(Google Gemini)의 보이는 워터마크를 끄는 방법이 나왔다!

구글은 이제 지니미와 플로(Google's AI video generator, Flow)에서 AI工具을 이용해 만든 미디어에 보이는 워터마크를 제거할 수 있는 기능을 제공합니다. 이 업데이트로, 사용자는 지니미와 플로의 새로운 '미디어 워터마크' 설정을 끌 수 있습니다. 워터마크가 끄면, 지니미에서 생성된 이미지, 비디오, 음악에 나타나는 '스파클(sparkle)' 워터마크가 사라집니다.

AI 모델 8월 16일

애플, 중국 위해 알리바바와 함께 자체 AI 모델을 교육

애플은 중국 시장에 맞는 맞춤형 AI 모델을 중국 기술巨인 알리바바와 함께 개발하고 훈련했다고 보고되었다. 이는 베이징과 워싱턴 간 커져가는 긴장감을 무시하고 중국과 미국 사이에 드문 획기적인 협력이다. 알리바바의 지원을 받으며 개발된 중국을 대상으로 한 대규모 언어 모델(LLM) 훈련은 알리바바와 함께 개발되었으며, 리트저스는 훈련에 대한 지원을 받았다고 세 명의 익명한 사람들의 진술에 근

AI 모델 8월 15일

대량 언어 모델(LLM) 개인화에 대한 대응: Meta-LoRA를 이용한 다원 도메인 선호도 학습

대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다. 이러한 문제를 해결하기 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안하여, 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.