Aeca Blog

2024년 6월 21일 OpenAI는 데이터베이스 스타트업 Rockset 인수를 발표했습니다. OpenAI에 따르면 Rockset 인수의 배경은 AI를 더 유용하게 만들기 위한 검색 인프라 개선이라고 합니다. 구체적으로 어떠한 이점 때문에 OpenAI는 Rockset을 인수했을까요?

Aeca를 활용하여 상품 검색을 위한 데이터 수집 및 가공, 검색과 서비스 개발 과정을 설명합니다. 정형, 비정형 데이터가 혼합되어 있을 때 어떻게 색인하고 LLM을 활용하여 어떻게 쿼리를 변환하여 검색하는지를 알아봅니다.

RAG(검색 증강 생성)을 복잡한 인프라 구축 없이 AI 데이터베이스 하나로 쉽게 만들 수 있습니다.

벡터데이터베이스(VectorDB)를 활용해 대규모 언어모델(LLM)의 한계를 극복하고자 하는 방안이 주목받고 있습니다. 전문 분야나 학습되지 않은 도메인 데이터, 예를 들어 로펌의 판례나 회사의 커뮤니케이션 기록 등 특화된 정보에 대해 정확한 답변을 제공하기 위해, 모든 종류의 데이터를 벡터임베딩으로 변환하여 저장하고 검색할 수 있는 벡터 데이터베이스를 LLM의 장기기억 저장장치로 사용하는 것입니다. 이를 위해 위키피디아를 사용한 Q&A 시스템을 예로 들어 데이터 전처리, 벡터화, 저장, 검색 등의 과정을 통해 벡터 데이터베이스가 어떻게 LLM을 보완할 수 있는지에 대한 구체적인 사례를 살펴봅니다.