AI 맥락의 격차: 기업 AI 조직은 신뢰 문제가 아니라 검색 문제가 아니고, 대부분은 문제를 해결하는 데에 여전히 집중 중이다.

사업체 101곳에서 AI agent가 사업 환경에 대한 정보를 얻는 데 사용하는 인프라가 빠르게 구축되고 있지만, 그만큼 신뢰할 수 있는지 여부는 아직 보장되지 않았다. retrieval-augmented generation이 이미 기본적인 환경 정보의 출처로 자리 잡았고, provider-native retrieval이 quiet하게 vector databases를 능가하고 있다. 그러나, 대다수의 사업체는 이미 agent가 자신감 있게 잘못된 답을 내놓았으며, 그 이유는 context의 결여 또는 불일치 때문이었다. governed semantic layer가 문제를 해결하는 방안으로 떠오르지만, 아직 대부분은 그것을 구축하고 있지 않다. field는 hybrid retrieval에 대한 동향을 보이고 있으며, even as provider-native tools가 실제로 선두를 지키고 있지만, plurality는 best-of-breed를 유지하기를 원한다. 결과적으로 context gap이 발생하고 있으며, agent가 자신감 있게 말하고 있지만, 그 바탕이 된 context는 사업체가 아직도 충분히 신뢰하지 못하고 있다. 벤처 비트의 Pulse Research가 AI agent가 사업 환경에 대한 정보를 얻는 데 사용하는 enterprise RAG와 context layer를 조사한 결과를 발표했다. 이 조사에서는 AI agent가 사업 환경에 대한 정보를 얻는 데 사용하는 retrieval systems, semantic layers, context sources, 그리고 그들을 구축하는 데 사용하는 방법과 비용, 그리고 architecture가 어떤 방향으로 나아가고 있는지 등을 조사했다. 중요한 발견은 context gap이란 말이다. business context가 불충분하거나 불일치한 경우 AI agent가 자신감 있게 잘못된 답을 내놓는다는 것이다. 57%의 사업체는 지난 6개월 동안 AI agent가 자신감 있게 잘못된 답을 내놓았으며, 그 이유는 business context의 결여 또는 불일치 때문이었다. 57%의 사업체는 그들이 경험한 적이 한번도 없다고 대답했으며, 그 중 56%는 그들이 경험한 적이 한번도 없다고 대답했다. 이 조사에서 가장 중요한 발견은 retrieval-augmented generation이 이미 기본적인 환경 정보의 출처로 자리 잡았으며, provider-native retrieval이 quiet하게 vector databases를 능가하고 있다는 것이다. 38%의 사업체는 retrieval-augmented generation이 기본적인 환경 정보의 출처로 사용되고 있으며, 21%의 사업체는 governed semantic layer 또는 ontology를 기본적인 환경 정보의 출처로 사용하고 있다. hybrid approaches, direct live-system queries, long-context loading이 각각 14%, 10%, 6%를 차지하며, 2%의 사업체는 model의 일반적인 지식만을 기본적인 환경 정보의 출처로 사용하고 있다. 또한 이 조사에서 가장 중요한 발견은 hybrid retrieval이 consensus bet이란 말이다. 34%의 사업체는 hybrid retrieval이 2026년 말에 production RAG systems를 지배할 것으로 기대하고 있으며, 11%의 사업체는 vector-only retrieval이 production RAG systems를 지배할 것으로 기대하고 있다. hybrid retrieval은 embeddings를 combine하고 reranking과 access controls를 추가하여 accuracy와 governance를 향상시키고 있다. 마지막으로 이 조사에서 가장 중요한 발견은 governed semantic layer가 context gap을 해결하는 방안으로 떠오르지만, 아직 대부분은 그것을 구축하고 있지 않다는 것이다. 58%의 사업체는 governed semantic layer를 production에 구축하고 있으며, 25%의 사업체는 이미 production에 구축하고 있으며, 34%의 사업체는 현재 구축 중이다. governed semantic layer는 industry의 answer로 inconsistent context를 해결하는 방안으로 떠오르고 있다. 결론적으로 context gap이 해결되지 않은 채로 AI agent가 자신감 있게 잘못된 답을 내놓고 있는 상황이 있다. retrieval-augmented generation이 기본적인 환경 정보의 출처로 자리 잡았으며, provider-native retrieval이 quiet하게 vector databases를 능가하고 있지만, hybrid retrieval이 consensus bet으로 떠오르고 있으며, governed semantic layer가 context gap을 해결하는 방안으로 떠오르고 있다.