GRID: 보안 텍스트 지식 그래프 구축을 위한 지능 데이터 그래프 표현

GRID은 보안 텍스트 지식 그래프 구축을 위한 end-to-end 프레임워크입니다. GRID은 CTI 기사에서 보안 도메인 감독을 생성하기 위해 그래프 추출과 지식 그래프 조건에 의한 텍스트 수정을 통해 추적 가능한 기사-그래프 정렬을 만듭니다. 그리고 문서-그래프 학습을 스크립트된 태스크 뱅크로 변환하여, 4 옵션 멀티 셀렉트 질문과 트리플 레벨 정규 표현식 매칭 타겟을 결합하여, LLM 판독기와 반복적으로 전체 그래프 출력을 스코어하는 것보다 더 안정적인 태스크 스페시픽 보상을 얻을 수 있습니다.

真是내용

GRID은 보안 텍스트 지식 그래프 구축을 위한 end-to-end 프레임워크입니다. GRID 은 CTI 기사에서 보안 도메인 감독을 생성하기 위해 그래프 추출과 지식 그래프 조건에 의한 텍스트 수정을 통해 추적 가능한 기사-그래프 정렬을 만듭니다. 그리고 문서-그래프 학습을 스크립트된 태스크 뱅크로 변환하여, 4 옵션 멀티 셀렉트 질문과 트리플 레벨 정규 표현식 매칭 타겟을 결합하여, LLM 판독기와 반복적으로 전체 그래프 출력을 스코어하는 것보다 더 안정적인 태스크 스페시픽 보상을 얻을 수 있습니다.

구현

GRID은 두 가지 모델을 사용합니다. 첫 번째 모델은 Task-bank Reward 모델이며, 두 번째 모델은 End2End Reward 모델입니다. Task-bank Reward 모델은 스크립트된 태스크 뱅크를 사용하여, 4 옵션 멀티 셀렉트 질문과 트리플 레벨 정규 표현식 매칭 타겟을 결합하여, LLM 판독기와 반복적으로 전체 그래프 출력을 스코어하는 것보다 더 안정적인 태스크 스페시픽 보상을 얻을 수 있습니다. End2End Reward 모델은 LLM 판독기와 반복적으로 전체 그래프 출력을 스코어하는 것보다 더 안정적인 태스크 스페시픽 보상을 얻을 수 있습니다.

결과

Task-bank Reward 모델은 84.62%의 소스 평균 정밀도, 64.91%의 소스 평균 재현율, 68.53%의 평균 F1 점수를 얻었습니다. End2End Reward 모델은 76.91%의 정밀도, 53.85%의 재현율, 58.06%의 평균 F1 점수를 얻었습니다.

분석

Task-bank Reward 모델은 LLM 판독기와 반복적으로 전체 그래프 출력을 스코어하는 것보다 더 안정적인 태스크 스페시픽 보상을 얻을 수 있습니다. End2End Reward 모델은 LLM 판독기와 반복적으로 전체 그래프 출력을 스코어하는 것보다 더 안정적인 태스크 스페시픽 보상을 얻을 수 있습니다.

• Task-bank Reward 모델은 84.62%의 소스 평균 정밀도, 64.91%의 소스 평균 재현율, 68.53%의 평균 F1 점수를 얻었습니다.
• End2End Reward 모델은 76.91%의 정밀도, 53.85%의 재현율, 58.06%의 평균 F1 점수를 얻었습니다.