데이터 임베딩을 위한 하이퍼디멘셔널 컴퓨팅: 구조화된 쿼리와 테이블 데이터
데이터 임베딩은 데이터 프로파일링 및 통합 PIPELINE의 기본 요소로, 엔티티 인식 및 해결, 스키마 일치, 열 타입 감지, 테이블 검색 등 다양한 작업을 수행할 수 있습니다. 그러나 현재 임베딩 방법론의 주요한 단점은 비해지지 않는 유사도 점수라는 것입니다. 이 유사도 점수는 유의미한 의미를 지니지 않으며, 이웃이 진짜 매칭인지 아니면 단순히 비슷한 항목 중에서 가장 적은 거리를 갖는 항목인지 구별할 수 없습니다. 이러한 비해지지 않는 유사도 점수는 실제 매칭이 없는 경우에 특히 문제가 됩니다. 이 연구에서는 하이퍼디멘셔널 컴퓨팅(HDC) 프레임워크를 사용하여 테이블 행 임베딩을 수행할 수 있는지에 대한 연구를 수행합니다. HDC를 사용하여 구조화된 SELECT-PROJECT 쿼리를 벡터 공간에서 수행할 수 있습니다. HDC의 대수적 속성을 사용하여, 우리는 일치 및 비일치 검색谓词의Closed-form 기대 유사도 값을 계산할 수 있습니다. 이러한 유사도 값은 차원 수가 증가함에 따라 해석할 수 있는 값으로 수렴합니다. 이러한 유사도 값을 사용하여, 우리는 적절한 검색 임계값을 식별할 수 있습니다.
데이터 임베딩은 데이터 프로파일링 및 통합 PIPELINE의 기본 요소로, 엔티티 인식 및 해결, 스키마 일치, 열 타입 감지, 테이블 검색 등 다양한 작업을 수행할 수 있습니다. 그러나 현재 임베딩 방법론의 주요한 단점은 비해지지 않는 유사도 점수라는 것입니다. 이 유사도 점수는 유의미한 의미를 지니지 않으며, 이웃이 진짜 매칭인지 아니면 단순히 비슷한 항목 중에서 가장 적은 거리를 갖는 항목인지 구별할 수 없습니다.
이 연구에서는 하이퍼디멘셔널 컴퓨팅(HDC) 프레임워크를 사용하여 테이블 행 임베딩을 수행할 수 있는지에 대한 연구를 수행합니다. HDC를 사용하여 구조화된 SELECT-PROJECT 쿼리를 벡터 공간에서 수행할 수 있습니다.
하이퍼디멘셔널 컴퓨팅(HDC)란?
하이퍼디멘셔널 컴퓨팅(HDC)은 대규모 언어 모델(LLM)과 같은 고차원 데이터를 처리하는 데 사용되는 컴퓨팅 프레임워크입니다. HDC는 데이터를 고차원 공간에서 처리하여, 데이터의 복잡성을 다루는 데 도움이 됩니다.
테이블 행 임베딩을 위한 HDC
이 연구에서는 HDC를 사용하여 테이블 행 임베딩을 수행할 수 있는지에 대한 연구를 수행합니다. HDC를 사용하여 구조화된 SELECT-PROJECT 쿼리를 벡터 공간에서 수행할 수 있습니다.
구조화된 SELECT-PROJECT 쿼리란?
구조화된 SELECT-PROJECT 쿼리는 SELECT 문과 PROJECT 문으로 구성된 쿼리입니다. SELECT 문은 데이터를 필터링하는 데 사용되며, PROJECT 문은 데이터를 프로젝션하는 데 사용됩니다.
테이블 행 임베딩을 위한 HDC의 장점
테이블 행 임베딩을 위한 HDC의 장점은 다음과 같습니다.
- 비해지지 않는 유사도 점수를 제공하지 않습니다.
- 구조화된 SELECT-PROJECT 쿼리를 벡터 공간에서 수행할 수 있습니다.
- 테이블 행 임베딩을 위한 HDC는 대규모 언어 모델(LLM)과 같은 고차원 데이터를 처리하는 데 사용되는 컴퓨팅 프레임워크입니다.
이 연구에서는 HDC를 사용하여 테이블 행 임베딩을 수행할 수 있는지에 대한 연구를 수행하였으며, 테이블 행 임베딩을 위한 HDC의 장점을 알아보았습니다.
함께 읽으면 좋은 기사
구글 지니미(Google Gemini)의 보이는 워터마크를 끄는 방법이 나왔다!
구글은 이제 지니미와 플로(Google's AI video generator, Flow)에서 AI工具을 이용해 만든 미디어에 보이는 워터마크를 제거할 수 있는 기능을 제공합니다. 이 업데이트로, 사용자는 지니미와 플로의 새로운 '미디어 워터마크' 설정을 끌 수 있습니다. 워터마크가 끄면, 지니미에서 생성된 이미지, 비디오, 음악에 나타나는 '스파클(sparkle)' 워터마크가 사라집니다.
애플, 중국 위해 알리바바와 함께 자체 AI 모델을 교육
애플은 중국 시장에 맞는 맞춤형 AI 모델을 중국 기술巨인 알리바바와 함께 개발하고 훈련했다고 보고되었다. 이는 베이징과 워싱턴 간 커져가는 긴장감을 무시하고 중국과 미국 사이에 드문 획기적인 협력이다. 알리바바의 지원을 받으며 개발된 중국을 대상으로 한 대규모 언어 모델(LLM) 훈련은 알리바바와 함께 개발되었으며, 리트저스는 훈련에 대한 지원을 받았다고 세 명의 익명한 사람들의 진술에 근
대량 언어 모델(LLM) 개인화에 대한 대응: Meta-LoRA를 이용한 다원 도메인 선호도 학습
대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다. 이러한 문제를 해결하기 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안하여, 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.
듀얼-플로우 트랜스포머: 주요 프리 필 경로와 추가 디코딩 계산을 분리하는 방법
대규모 언어 모델은 더 많은 요청을 처리할수록,一次적인 학습 비용 대비 누적적인 추론 비용이 점점 더 중요해지고 있습니다. 추론의 두 가지 단계는 하드웨어를 다르게 부하를 주고 있습니다:_prompt prefill은 병렬적이고 일반적으로 계산량에 의존하는 반면, autoregressive decode는 순차적이고 종종 메모리 대역폭에 의존합니다. 전통적인 너비 또는 깊이 확대는 두 비용을 모
인간과 LLM의 윤리적 판단에서 다르다: 합의는 일치가 아니다
인공지능 언어 모델(Large Language Model, LLM)과 인간의 판단이 일치하는 것은 대규모 언어 모델의 가치 지향성 평가를 위한 일반적인 대안입니다. 하지만 최종 레이블이 일치한다는 것은 인간의 주석자와 모델이 같은 도덕적 근거를 기반으로 의사결정을 내리는 것이라는 것을 보장하지는 않습니다. 두 개의_AGENT(agents)가 같은 판단을 내릴 수 있지만 서로 다른 원칙, 맥락
위치: 중립성 공동체가 의도치 않게 검열가의 도구를 만들고 있다
최신 인공지능(AI) 동기화 방법은 해로울 수 있는 출력을 예방하기 위해 설계된 기술이다. 그러나 이 기술은 유해한 사용을 막기 위한 목적으로 설계된 것이 아니다. 이 기술은 쉽게 사악한 사람들에 의해 검열 및 조작에 사용될 수 있는 이중 사용 기술이다. 현재의 동기화 기술을 오용할 수 있는 가능성과 실제 사례를 매핑하여, 우리는 완벽하게 동기화된 모델을 찾으려는 노력은 실질적으로 정보 지배
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.