본문으로 건너뛰기

LLM 판권 소유권: 전문적인 특허 작성 기관을 위한 LLM 심판자 평가

AI 자동 생성

AI 생성된 출력물을 평가하고 개선하기 위해 점점 더 많이 사용되는 대규모 언어 모델(LLM) 심사관의 신뢰성은 복잡한 전문 업무에 대해 아직 rõ하지 않습니다. 우리는 AI-agent 평가를 위한 끝에서 끝까지 특허 출원 테스트베드를 통해 이 문제를 연구합니다. 분리된 LLM 심사관이 생성된 특허 초안을 평가하고 반복적인 수정을 위한 구조화된 feedback를 제공합니다. 다중 발명물과 drafting-agent 구성에 걸쳐 심사관 지시된 수정은 심사관 평가한 품질을 항상 향상시킵니다. 반면, 비지시된 수정은 saturate tends. 특히, 반복적인 심사관 feedback는 저사양 사고 agent가 고사양 비용이 더 높은 agent와 접근할 수 있게 합니다. 더 강력한 모델과 증가하는 사고는 일반적으로 심사관 평가한 drafting 품질을 향상시킵니다. 반면, domain-specific agentic workflows는 추가적인 이익을 제공합니다. 우리는 독립적인 평가를 위해 전문 특허 변호사와 심사관을 검증하고 의미 있지만 강하게 metric-dependent agreement 및 systematic calibration 차이점을 발견합니다. 이러한 결과는 복잡한 전문 업무에 대한 LLM 심사관의 유용성과 한계를 강조합니다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

에이전트 17시간 전

Meta의 영감은 OpenAI와 Anthropic에서 본격적으로 빛나는 AI를 훔쳤습니다.

AI 리더들이 OpenAI와 Anthropic에서 "선도 경계를 맞춰가기"라는 주제로 논의를 시작했을 때, 누군가는 "어느 속도로?"라는 질문을 해야 했을 수도 있었다. 이제는 두 회사가 모두 모델을 출시하는 모델 출시 주간이 되었는데, Anthropic이 Opus 5.5을 출시한 후 OpenAI가 GPT-6 모델 업데이트를 90분만에 출시했다. 그러나 스포트라이트를 잡은 것은 Meta 였는

에이전트 2일 전

강화 학습 기반 역할 놀이 에이전트의 역할 학습을 위한 적대적 폐쇄 루프 교육과정

역할 연기하는 agent는 대규모 언어 모델을 기반으로 한 것들이 개인화된 지원 및 사회 시뮬레이션과 같은 분야에서 광범위하게 적용되어 왔다. 최근 RL 방법들은 학습이 시작되기 전에 미리 수집한 고정된 시나리오 풀에서 훈련을 받는다. 이로 인해 분포적 병목 현상이 발생한다: agent가 향상될수록 agent가 나쁜 성능을 보이는 시나리오도 변하고, 훈련 분포는 정적이다. 따라서, 우리는 역

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.