“어떤 예능 프로그램에서 연예인이 입은 옷을 찾고 싶고, 특정 컬러나 가격대, 또는 TPO도 지정하고 싶은데… 이런 상품들을 쉽게 발견할 수 있으면 얼마나 좋을까?”
이 물음에서 시작된 프로젝트가 바로 OMNIOUS.AI와 SK브로드밴드 B tv가 함께 만든 대화형 쇼핑 AI입니다. 기존의 이커머스에서 제공하는 키워드 중심 검색으로도 상품을 찾을 수 있었지만, B tv내의 다양한 콘텐츠 속에서 여러 인물들과 연관된 상품들을 발견할 수 있습니다.
예를 들어 “신민아가 입은 재킷 중에서 연말 모임에 어울릴 만한 재킷들 추천해줘”처럼 자연스럽게 말하는 걸 그대로 이해하고 사람들이 궁금해하는 인물 중심 또는 프로그램 중심, 가격 중심, TPO 중심으로 상품을 제안해 주는 시스템은 없었습니다. 게다가 “그중 30만 원 이하인 것만 골라줘”처럼 조건을 덧붙이고, 또 “아니, 블랙 말고 화이트계열 상품도 궁금해”라는 후속 요청까지 부드럽게 이어가며 발견형 쇼핑을 이어나가기 위해서는 상당히 복잡한 언어 해석과 검색 로직이 필요했죠.
자유로운 대화를 통한 발견형 쇼핑 경험을 목표로
이 프로젝트에서는 사용자가 현재 머무르고 있는 다양한 맥락 속에서 사람들이 찾고자 하는 것이 무엇인지 이해하고, 정확한 상품들을 제공하기 위해 크게 두 가지를 필요로 했습니다.
- 대형 언어 모델(LLM)을 활용한 멀티 에이전트(Multi-agent) 시스템
- 맥락에 맞는 정확한 상품 정보 기반 검색증강생성(RAG)을 위한 시스템
옴니어스는 다년간 이커머스 상품 속성 태깅 솔루션, 검색 및 추천 솔루션을 제공한 기술과 노하우를 통해 맥락에 맞는 정확한 상품을 찾고 생성에 활용하기 위한 RAG 시스템을 자체 구축하였고, 최근 빠르게 발전하고 있는 상용 LLM api (OpenAI, Anthropic)등을 활용해 사용자의 현재 맥락에 맞는 발견을 이어나가기 위한 대화형 쇼핑 시스템을 구축할 수 있었습니다.
대형 언어 모델(LLM)을 활용한 멀티 에이전트 (Multi agent) 시스템
대화형 쇼핑 AI에 다양한 에이전트들이 활용되었지만, 큰 그림에서 가장 중요한 에이전트는 1) 대화 히스토리와 맥락을 활용해 사용자가 ‘현재’ 물어보는 것이 무엇인지 재정의하는 ‘쿼리 조정 에이전트’ 2) 사용자의 발화를 분석해 의도를 파악하는 ‘의도 판별 에이전트’, 3) 판별된 의도에 연관된 상품의 주요 키워드를 파악하는 ‘키워드 추출 에이전트’ 였으며, 의도와 키워드, 그 밖의 유저의 현재 상태와 맥락에 맞춰 실행되는 다양한 에이전트들을 활용하였습니다.
조금 더 부연하자면, 우선 사용자의 발화를 면밀히 분석해, 어떤 의도로 말했는지부터 파악했습니다. 옷을 찾고 싶은 것인지(아이템 검색), 특정 브랜드를 더 보고 싶은 것인지(브랜드 검색), 아니면 그냥 궁금한 것을 묻는 일상 대화인지(검색 외 의도)가 다를 수 있거든요.
이 과정을 위해 의도 판별 에이전트를 만들었고, 그 결과에 따라 상품을 찾아볼지, 찾는다면 어떤 형태의 키워드를 필요로 하는 검색이 될지, 필요한 추가 정보를 사용자에게 물어볼지, 아니면 다른 대화 응대를 할지.. 다양한 후속 에이전트들이 의도 판별 에이전트의 결과에 따라 실행될 수 있도록 했습니다.
사용자가 정말로 상품을 찾으려는 의도라면, 그 발화 안에 들어있는 주요 속성(아이템 종류, 색상, 프린트, 가격대, 특정 프로그램명∙배우명∙브랜드, 또는 특정 TPO 등)을 키워드 추출 에이전트를 통해 확보하였습니다.
그 중에서도 카테고리, 아이템, 배우명, 브랜드와 같이 객관적인 정보가 아닌 TPO와 같이 주관적인 키워드들(“가을캠핑룩”, “하객룩” 등)은 검색에 활용할 수 있도록 키워드 변환 과정을 거쳐 사용자가 원하는 TPO의 상품을 정확히 발견할 수 있도록 했습니다.
맥락에 맞는 정확한 상품 정보 기반 검색증강생성(RAG)을 위한 시스템
사용자의 의도와 찾고자 하는 상품을 이해했을 때, 원하는 상품을 정확히 검색하고 이를 활용해 사용자에게 답변을 제공하기 위해 필수적인 기술이 검색 증강 생성(RAG)입니다. 이를 위해 사용자의 쿼리에 따라 정확한 상품을 수십, 수백만 상품 중에서 검색하는 것이 필요하지만 이커머스 상품, 특히 패션 아이템은 매우 다양한 속성을 가지고 있어 상품마다 충분한 메타데이터가 높은 정확도로 입력되기 쉽지 않은 특성을 가지고 있어, 사용자의 자연어 쿼리에 포함된 다양한 맥락의 키워드들에 맞는 상품들을 검색하기 어려운 문제점을 가지고 있었습니다.
정확한 상품이 검색되지 않는다면, LLM 에이전트들이 아무리 정확히 의도를 이해하고, 찾고자 하는 상품의 특성을 추출했다고 해도 사용자들에게 실제로 존재하지 않는 상품 정보가 전달되거나(환각 Hallucination), 틀린 상품 검색 결과가 제공되어 사용자의 만족도가 매우 저하될 수 밖에 없었죠.
옴니어스는 자체 보유한 상품 속성 자동 태깅 솔루션을 통해 수백만 상품들을 검색과 추천에 용이하게 데이터화하는 과정을 거쳤고, 그러한 정보를 활용해 맥락에 맞는 상품을 찾을 수 있는 개인화 추천, (이미지 기반) 상품 추천 솔루션을 적용했습니다.
이를 통해 사용자가 찾고자하는 실제로 연예인이 착용한, 특정 프로그램에 나왔던, 원하는 TPO와 속성을 가진 상품들을 실시간으로 찾아 제공할 수 있었습니다.
옴니어스의 솔루션을 통한 이커머스 상품 데이터 가공 및 정제, 그리고 검색, 추천 기술이 없었다면, “나혼자산다에 전현무가 입었던 캠핑룩 찾아줘” 같은 요청은 구현하기 훨씬 까다로웠을 것입니다.
더 자연스러운 발견을 이어가기 위해서
다중 턴 대화를 부드럽게 이어나가기
‘대화’를 통해 상품을 발견해나가는 서비스의 특성상 이렇게 첫 응답 결과를 본 뒤, 사용자는 그 대화 내용에 이어서 추가 요청을 하고 다양한 발견을 이어나가게 됩니다. 즉, 이전의 검색이 일회성의 쿼리-응답의 쌍이었다고 하면, 대화형 쇼핑 AI는 근본적으로 점진적인 발견을 해나가기 최적화된 인터페이스라고 할 수 있죠.
그를 위해 가장 중요한 것은 다중 턴의 대화를 잘 이해하고 적절한 응답을 제공하는 것일 것입니다. 예를 들어 앞의 검색 결과에 대해 곧장 “ㅇㅇ 배우가 입었던 것만 골라줘” 또는 “이 중에서 주말 데이트할때 입을 만한 것들만 볼래”라고 말하면, 시스템은 이전 대화 히스토리를 다시 참고해 새로운 조건만 반영한 상품을 찾아줄 수 있어야 합니다.
이때 쿼리 조정 에이전트는 “아, 이전 턴에서 찾았던 상품 중 연관 인물 조건을 추가하라고 하는구나” 또는 “이전에 찾은 상품들 특징에 더해서 데이트 TPO에 적합한 것들만 남기고 상품을 보여줘야겠구나”라고 이해해 다음 검색 요청문을 정돈합니다.그래서 대화가 끝날 때까지는 계속 맥락이 유지되고, 매 턴마다 새로운 속성을 덧붙이거나(“블랙도 보고 싶어”) 빼거나(“근데 브랜드는 상관없어”) 하면서도 사용자 의도에 맞게 검색 결과를 다시 보여주게 되는 것이죠.
검색 결과가 없을 때의 대안 제시
프로젝트를 진행하며 특히 신경 쓴 부분이, 검색 결과가 전혀 없을 때 그냥 “없네요”로 끝나지 않고, 비슷한 옵션이라도 보여주도록 하는 로직이었습니다. 예컨대 “전도연이 입은 검정 자켓”이 DB에 전혀 없다고 치면, 대신 “검정 자켓은 아니지만 전도연이 입은 자켓” 목록을 안내하거나, 그마저도 없으면 “다른 자켓”을 추천해주는 식으로 필터를 점진적으로 완화해 가며 대안을 찾습니다.
이 대안 상품 검색 기능은 실제 쇼핑 시나리오에서 사용자 이탈을 상당히 줄여주고, 능동적으로 제안까지 해주는 느낌을 주어 만족도를 높였습니다.
운용 데이터와 추가 활용
이 모든 대화 과정을 로그로 남기고, 시스템에서 각 턴마다 어떤 Prompt를 구성해 LLM을 호출했는지도 저장합니다. 이렇게 쌓인 데이터를 분석하면, 추후 모델 품질 개선이나 특정 상품에 대한 고객 관심도 분석에도 쓰일 수 있습니다.
더 나아가, 향후에는 이 대화 로그에 대한 사용자 피드백을 적극적으로 모델 재학습에 반영해, 점점 더 진화된 어시스턴트를 만들 수도 있습니다.
더 확장 가능한 대화형 쇼핑을 향해
이번 프로젝트는 TV 프로그램∙배우 착용 아이템부터 브랜드 상품과 디테일한 속성 검색은 물론 TPO에 기반한 상품 발견까지 포괄하며, LLM 기반 대화형 쇼핑이 어느 정도까지 구현 가능하고 또 어떤 가치를 줄 수 있는지 보여주었습니다.
바야흐로 “대화형 AI”가 쇼핑 경험까지 혁신하는 시기가 열리고 있고 그 중심에는, 정교한 언어모델 + 잘 태깅된 상품 데이터 + 탄탄한 시나리오 설계가 함께 어우러진 이번 대화형 쇼핑 AI가 있다고 생각합니다.
앞으로 에이전트와 소통한 내역을 바탕으로 점점 더 개인화되는 상품 발견 여정, 이미지 인식(“사진 속 옷과 유사한 제품 찾아줘”), 더 정밀한 스타일 추천, 더 다양한 콘텐츠와의 연계까지 확장해 나갈 텐데요, OMNIOUS.AI는 이러한 대화형 쇼핑 AI 에이전트를 통해, “사용자들이 현재 처한 맥락과 콘텐츠 속에서, 사람에게 묻고 답하듯 정말 편하게 상품을 발견하고, 구매할 수 있는 시대”를 만들어나가고자 합니다.
