Aeca Blog

벡터 임베딩 한계와 특성을 설명하고 이를 저장하기 위한 기능 개선 내용을 다룹니다.

2024년 6월 21일 OpenAI는 데이터베이스 스타트업 Rockset 인수를 발표했습니다. OpenAI에 따르면 Rockset 인수의 배경은 AI를 더 유용하게 만들기 위한 검색 인프라 개선이라고 합니다. 구체적으로 어떠한 이점 때문에 OpenAI는 Rockset을 인수했을까요?

FTS를 사용한 판례 검색 데모에 벡터 검색을 적용하여 자연어 검색 서비스를 구축하는 방법을 설명합니다.

판례 데이터를 다운로드 받고 Aeca를 통해 판례 검색 서비스를 하루만에 구축한 과정을 설명합니다.

Aeca를 활용하여 상품 검색을 위한 데이터 수집 및 가공, 검색과 서비스 개발 과정을 설명합니다. 정형, 비정형 데이터가 혼합되어 있을 때 어떻게 색인하고 LLM을 활용하여 어떻게 쿼리를 변환하여 검색하는지를 알아봅니다.

3/12(화)부터 'Cognica'에서 'Aeca'로 제품명 및 사명이 변경됩니다. 명칭 변경은 점진적으로 적용됩니다.

RAG(검색 증강 생성)을 복잡한 인프라 구축 없이 AI 데이터베이스 하나로 쉽게 만들 수 있습니다.

벡터데이터베이스(VectorDB)를 활용해 대규모 언어모델(LLM)의 한계를 극복하고자 하는 방안이 주목받고 있습니다. 전문 분야나 학습되지 않은 도메인 데이터, 예를 들어 로펌의 판례나 회사의 커뮤니케이션 기록 등 특화된 정보에 대해 정확한 답변을 제공하기 위해, 모든 종류의 데이터를 벡터임베딩으로 변환하여 저장하고 검색할 수 있는 벡터 데이터베이스를 LLM의 장기기억 저장장치로 사용하는 것입니다. 이를 위해 위키피디아를 사용한 Q&A 시스템을 예로 들어 데이터 전처리, 벡터화, 저장, 검색 등의 과정을 통해 벡터 데이터베이스가 어떻게 LLM을 보완할 수 있는지에 대한 구체적인 사례를 살펴봅니다.

현대 애플리케이션에서 사용자의 체류 시간을 늘리기 위해 많은 서비스는 추천 시스템을 도입하고 있으며, 이는 특히 콘텐츠와 이커머스 분야에서 매출과 직접적인 연관이 있는 중요한 요소입니다. 추천 시스템은 사용자의 행동을 분석하여 관심사를 파악하고 관련 아이템을 제공함으로써 체류 시간을 늘리고 구매를 유도합니다. 여기에 어떻게 벡터데이터베이스가 활용될 수 있을까요?

우리가 사용하는 모바일 애플리케이션이나 웹서비스에는 검색기능이 있습니다. 대부분은 데이터베이스에서 제공하는 기본적인 텍스트 검색이나 Elasticsearch 같은 검색 엔진에서 제공하는 전문 검색(Full-Text Search)을 사용하여 개발 합니다. Full-Text Search는 주로 텍스트 데이터 검색에 사용되는 전통적인 방법 중 하나로 문서, 웹 페이지, 데이터베이스 등에서 특정 키워드, 단어, 구문 등을 찾아내는 데 중점을 두고 있습니다. 주로 키워드 또는 짧은 문장을 입력하여 텍스트 데이터를 검색 하고, 키워드와 일치하는 문서를 찾는 과정을 거치는데, 문맥이나 의미적 유사성을 고려하지는 않습니다.

벡터 임베딩은 다양한 형태의 데이터(문서, 이미지, 음성, 영상 등)를 숫자 배열로 변환하여 유사성을 측정하는 개념입니다. 예를 들어, 색깔은 RGB 형식으로 나타내는 3차원 벡터 데이터로 표현될 수 있습니다. 이러한 벡터 임베딩을 통해 데이터 간의 거리를 계산하여 유사성을 판단할 수 있습니다. 이는 자연어 처리, 추천 알고리즘 등에서 중요한 역할을 합니다. Transformer 모델을 통해 다양한 데이터를 벡터로 변환할 수 있으며, 이를 활용해 서로 다른 형태의 데이터 간의 유사성도 측정할 수 있습니다. 예를 들어, "고양이"라는 텍스트와 고양이 사진 사이의 유사성을 벡터 공간에서 측정하는 것이 가능합니다.

웹과 모바일 애플리케이션에서 검색은 긍정적인 사용자 경험을 형성하는 핵심기능 입니다. 특히 커머스 서비스에서 검색은 사용자 경험 향상을 넘어, 회사 매출에 직접적인 영향을 미치는 요소 입니다. 상품정보와 콘텐츠의 양이 폭발적으로 증가하는 상황에서 고객이 입력한 검색어에에 부합되는 정보를 적시에 제공하는 검색품질은 애플리케이션과 웹사이트의 성공과 실패를 가를 중요한 요인이 되었습니다. 일반적으로 커머스 서비스에서 상품을 검색하는 고객은 지불의사가 높은 강력한 잠재고객으로 판단합니다. 사용자들이 검색하는 행위와 검색결과에 반응하는 모든 행동에는 고객 자신들의 구매의도, 니즈, 지불의사가 모두 나타나 있다고 보고 있습니다. 통계상으로도 검색을 수행한 사용자의 구매전환율이 그렇지 않은 고객에 비해 2배 이상이며, Total MAU에서 검색을 사용하는 유저의 비율은 20% 이하지만 검색을 한 번 이상 수행한 사용자들에게서 발생하는 매출이 절반이상인 것으로 알려져 있습니다. 또한 첫 검색에 실패한 사용자의 이탈율이 높게 나타나며, 재검색 고객의 구매전환율은 매우 낮게 나타납니다. 즉, 검색은 고객의 지갑을 열기 위한 강력한 수단일 뿐만 아니라 서비스의 지속가능성에도 큰 영향을 미치는 요소 입니다. 그렇다면 검색은 구체적으로 어떻게 고객리텐션과 매출증대, 서비스 개선에 기여할까요?

현대 애플리케이션에서는 검색기능이 필수적입니다. 대표적으로 쿠팡, 배달의민족, 야놀자와 같은 앱들에서 사용자는 다양한 항목들을 검색합니다. 그러나 검색기능의 개발은 간단하지 않습니다. 특히 사용자가 구글과 같은 수준의 검색품질을 기대할 때 기술적 요구사항은 복잡해집니다. 검색기능을 개발하기 위한 두 가지 대표적인 방법은 데이터베이스의 쿼리기능을 사용하는 것과 별도의 검색엔진을 사용하는 것입니다. 데이터베이스의 쿼리기능은 간단한 검색에는 적합하지만, 복잡한 검색 요구사항에는 한계가 있습니다. 반면, 검색엔진을 사용하면 높은 수준의 검색기능을 제공할 수 있지만, 개발의 복잡도와 유지보수의 어려움이 증가합니다. 따라서 서비스 초기단계에서는 어떻게 고품질의 검색기능을 효과적으로 구현할 것인지에 대한 고민이 필요합니다.

웹과 모바일 애플리케이션에서 검색은 긍정적인 사용자 경험을 형성하는 핵심기능 입니다. 특히 커머스 서비스에서 검색은 사용자 경험 향상을 넘어, 회사 매출에 직접적인 영향을 미치는 요소 입니다. 상품정보와 콘텐츠의 양이 폭발적으로 증가하는 상황에서 고객이 입력한 검색어에에 부합되는 정보를 적시에 제공하는 검색품질은 애플리케이션과 웹사이트의 성공과 실패를 가를 중요한 요인이 되었습니다. 일반적으로 커머스 서비스에서 상품을 검색하는 고객은 지불의사가 높은 강력한 잠재고객으로 판단합니다. 사용자들이 검색하는 행위와 검색결과에 반응하는 모든 행동에는 고객 자신들의 구매의도, 니즈, 지불의사가 모두 나타나 있다고 보고 있습니다. 통계상으로도 검색을 수행한 사용자의 구매전환율이 그렇지 않은 고객에 비해 2배 이상이며, Total MAU에서 검색을 사용하는 유저의 비율은 20% 이하지만 검색을 한 번 이상 수행한 사용자들에게서 발생하는 매출이 절반이상인 것으로 알려져 있습니다. 또한 첫 검색에 실패한 사용자의 이탈율이 높게 나타나며, 재검색 고객의 구매전환율은 매우 낮게 나타납니다. 즉, 검색은 고객의 지갑을 열기 위한 강력한 수단일 뿐만 아니라 서비스의 지속가능성에도 큰 영향을 미치는 요소 입니다. 그렇다면 검색은 구체적으로 어떻게 고객리텐션과 매출증대, 서비스 개선에 기여할까요?

We know that terms like big data, data lakes, and web-scale are fancy and attractive, but those are only everyday issues for very few of us. Most companies will never deal with the petabytes scale of the data. Let's be practical and stay on the ground. Most companies just need a simple but powerful database system to solve real problems. We are here to build a product for most companies, not just for unicorns. Our mission is to solve the common problems often associated with existing database systems and simplify software development by keeping your software stacks as simple as possible.