본문으로 건너뛰기

대화 기반 문제 해결에 사용되는 채팅봇의 작동 방식에 대한 몇 가지 가설. 대형 언어 모델의 혁신 착각에 대한 확인

AI 자동 생성

현재 대화봇은 인간과 같이 실제 대화 파트너로 기능할 수 있는지에 대한 의견을 제시합니다. 대화봇이 할 수 있는 것과 할 수 없는 것에 대한 설명과 이에 대한 이유를 무엇으로 설명할 수 있는지에 대한 논의를 담고 있습니다. 본 논문은 Aggregation Dynamics, Cognitive Linguistics, Neuropsychology 및 Psychology를 기반으로 한 논의를 제시합니다. 본 논문에서는 기본 대화봇에 대한 논의를 통해 더 발전된 대화봇의 핵심 기능에 대한 statement을 할 수 있습니다. 기본 대화봇은 Large Language Model (LLM)과 간단한 인터페이스만을 포함하는 것으로 가정됩니다. 본 논문에서 얻은 결과는 다음과 같습니다. - 인간의 이해와 사고를 설명하는 metaphorical problem propagations에 기반한 인간의 이해와 사고에 대한 설명 - 훈련 데이터셋이 특정 특성을 가지며, 이 훈련 데이터셋이 인간의 이해와 사고를 완전하게 모방하지 못한다는 가설 - LLM 훈련 과정에서 artificial metaphorical problem propagations이 데이터셋으로부터 LLM에 인코딩되는 가설 - 기본 대화봇이 인간과 같이 사고를 하는 파트너로 기능할 수 없다는 결론 - LLM의 발전이 인간과 같이 사고를 하는 파트너로 기능할 수 있게 하는 것은 불가능하다는 결론 Yann LeCun은 "동물과 인간은 현재 AI 및 머신 러닝 (ML) 시스템의 능력遠이 초과하는 학습 능력과 세계 이해를 보유하고 있습니다."라고 말합니다. 본 논문에서는 이러한 결론과 일치합니다. LeCun의 비전과 본 논문은 Big Tech의 낙관주의와는 반대되지만, 대화봇의 존재, 대화봇의 대규모 사용, 개인 및 조직의 사용, 그리고 사회적 및 정치적 중요성을 인정합니다. 본 논문은 대화봇의 기능, 이점, 그리고 단점에 대한 논의에 기여하기 위해 작성되었습니다. 본 논문에서 사용한 접근 방식은 대화봇의 작동 방식에 대한 연구에서 본 논문과 같은 접근 방식이 아직 발견되지 않았습니다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

AI 모델 4일 전

구글 지니미(Google Gemini)의 보이는 워터마크를 끄는 방법이 나왔다!

구글은 이제 지니미와 플로(Google's AI video generator, Flow)에서 AI工具을 이용해 만든 미디어에 보이는 워터마크를 제거할 수 있는 기능을 제공합니다. 이 업데이트로, 사용자는 지니미와 플로의 새로운 '미디어 워터마크' 설정을 끌 수 있습니다. 워터마크가 끄면, 지니미에서 생성된 이미지, 비디오, 음악에 나타나는 '스파클(sparkle)' 워터마크가 사라집니다.

AI 모델 4일 전

애플, 중국 위해 알리바바와 함께 자체 AI 모델을 교육

애플은 중국 시장에 맞는 맞춤형 AI 모델을 중국 기술巨인 알리바바와 함께 개발하고 훈련했다고 보고되었다. 이는 베이징과 워싱턴 간 커져가는 긴장감을 무시하고 중국과 미국 사이에 드문 획기적인 협력이다. 알리바바의 지원을 받으며 개발된 중국을 대상으로 한 대규모 언어 모델(LLM) 훈련은 알리바바와 함께 개발되었으며, 리트저스는 훈련에 대한 지원을 받았다고 세 명의 익명한 사람들의 진술에 근

AI 모델 4일 전

대량 언어 모델(LLM) 개인화에 대한 대응: Meta-LoRA를 이용한 다원 도메인 선호도 학습

대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다. 이러한 문제를 해결하기 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안하여, 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.

AI 모델 4일 전

듀얼-플로우 트랜스포머: 주요 프리 필 경로와 추가 디코딩 계산을 분리하는 방법

대규모 언어 모델은 더 많은 요청을 처리할수록,一次적인 학습 비용 대비 누적적인 추론 비용이 점점 더 중요해지고 있습니다. 추론의 두 가지 단계는 하드웨어를 다르게 부하를 주고 있습니다:_prompt prefill은 병렬적이고 일반적으로 계산량에 의존하는 반면, autoregressive decode는 순차적이고 종종 메모리 대역폭에 의존합니다. 전통적인 너비 또는 깊이 확대는 두 비용을 모

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.