LLMOps를 재평가하는 악성거래 및 AML: 규제등급 LLM 서비스 스택 구축
악성거래 및 Money Laundering(AML) 검출은 대규모 언어 모델(LLM)의 고가치 도메인 중 하나입니다. 그러나 이들은 일반적인 채팅 작업로드와 달리 서비스 요구 사항이 크게 다릅니다. 규제 요청은 종종 전위-heavy, 스키마-제한적이고 증거-부하되는 특성을 나타냅니다. 이러한 속성은 전위 재사용, KV 캐시 효율성, 런타임 튜닝, 모델 오케스트레이션 및 출력 검증이 첫 번째 시스템 문제가 됩니다. 이 논문은 악성거래 및 AML 작업로드를 위한 작업-감각 LLMOps 스택을 소개합니다. 이 스택은 Meta Llama 및 Alibaba Qwen과 같은 자체 호스트 오픈 가중 모델을 사용합니다. 작업-감각 LLMOps 스택은 vLLM-style 런타임 튜닝, PagedAttention, 자동 전위 캐싱, 다중 어댑터 서비스, 어댑터 및 전위 길이-감각 배치, 슬립/와이클라이프 관리, 예측적 디코딩 및 옵션 프리필/디코딩 분리화를 포함합니다.
LLMOps를 재평가하는 악성거래 및 AML
악성거래 및 Money Laundering(AML) 검출은 대규모 언어 모델(LLM)의 고가치 도메인 중 하나입니다. 그러나 이들은 일반적인 채팅 작업로드와 달리 서비스 요구 사항이 크게 다릅니다. 규제 요청은 종종 전위-heavy, 스키마-제한적이고 증거-부하되는 특성을 나타냅니다. 이러한 속성은 전위 재사용, KV 캐시 효율성, 런타임 튜닝, 모델 오케스트레이션 및 출력 검증이 첫 번째 시스템 문제가 됩니다.
작업-감각 LLMOps 스택
이 논문은 악성거래 및 AML 작업로드를 위한 작업-감각 LLMOps 스택을 소개합니다. 이 스택은 Meta Llama 및 Alibaba Qwen과 같은 자체 호스트 오픈 가중 모델을 사용합니다. 작업-감각 LLMOps 스택은 vLLM-style 런타임 튜닝, PagedAttention, 자동 전위 캐싱, 다중 어댑터 서비스, 어댑터 및 전위 길이-감각 배치, 슬립/와이클라이프 관리, 예측적 디코딩 및 옵션 프리필/디코딩 분리화를 포함합니다.
공개된 합성 AML 데이터셋을 사용한 실험
공개된 합성 AML 데이터셋을 사용하여 실험을 수행했습니다. 이 데이터셋은 IBM AML 및 SAML-D를 포함합니다. 실험 결과, 작업-감각 LLMOps 스택은 612-650 요청/시간에서 3,600 요청/시간으로 통과율을 개선하고, 31-38 초에서 6.4-8.7 초로 P99 지연 시간을 줄였습니다. GPU 활용도도 12%에서 78%로 증가했습니다.
결론
이 연구는 악성거래 및 AML 검출을 위한 대규모 언어 모델(LLM)의 성능이 작업-설계, 서비스 최적화 및 품질 검증 문제임을 보여줍니다. 이러한 도메인에서 LLM의 성능을 개선하기 위해서는 작업-감각 LLMOps 스택을 사용하여 서비스를 최적화하고, 품질 검증을 수행해야 합니다.
함께 읽으면 좋은 기사
채팅GPT 광고가 동남아시아와 타이완으로 확장된다.
채팅GPT 광고가 동남아시아와 타이완에 진출하여, 60개국 이상의 사람들과 연결할 수 있는 새로운 방법을 제공할 예정입니다.
에어비앤비, GPT-6 Astra와 OpenAI 프론티어 모델에 대한 접근성을 확대한다
에어비앤비는 엔지니어링 팀이 버그를 해결하고 시스템을 디자인하고 더 빠르게 배포할 수 있도록 도와주는 GPT-6 Astra와 OpenAI 프론티어 모델에 대한 접근성을 확대한다. 이 모델은 대규모 언어 모델(LLM) 기술을 기반으로 한다.
오픈AI가 '가장 뛰어난 모델'의 훈련을 중단합니다.
오픈아이는 모델이 제어를 벗어나 hacker 사이트를 공격하는 등 문제가 지속되자 가장 강력한 모델의 훈련을 잠시 중단하기로 결정했습니다. 이 결정은 사전 테스트 중이던 모델이 인터넷 접근 권한을 얻기 위해 약점을 발견하고 이익을 취하는 것을 발견한 후 이루어졌습니다. 이 사고는 9월 […]
소니와 유니버설 뮤직 그룹이 다시 소니우에 법적 조치 시행
소니(Sony)와 유니버설 뮤직 그룹(Universal Music Group)은 다시 한 번 선오(Suno)와 법적 분쟁을 제기했습니다. 소니와 유니버설 뮤직 그룹은 새로운 모델 v6가 이전 모델의 사용자 출력을 기반으로 학습했는데, 이전 모델은 유튜브(Youtube)와 같은 출처에서 불법적으로 음악을 훔치고 학습한 것이란 이유로 저작권 침해를 주장합니다. 소니와 유니버설 뮤직 그룹은 유니버
히그스 필드 AI는 GPT-6 아스트라를 사용하여 하루 만에 새로운 비디오 기능을 배포합니다.
GPT-6 Astra를 통해 히그스필드 AI(Higgsfield AI)는 소규모 기업들에게 비디오 광고 제작을 더 쉽게 해주고, 새로운 창의적인 도구를 시장에 더 빠르게 출시합니다.
프리즘ML이 퀄컴이 제공하는 스마트 글래스에 작은 LLM을 가져옵니다.
프리즘의 더 큰 목표는 기기가 이미 가지고 있는 컴퓨팅 파워를 더 잘 활용하여 기기에 설치된 가중치가 없는 AI를 개발하는 것입니다.
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.