[人터뷰] 일하는 AI의 탄생 (1) - 신뢰도를 높이는 기술 아키텍처와 실무형 에이전트 설계

AI 에이전트의 시대가 왔습니다. 하지만 상담 현장에서 AI 도입은 여전히 조심스럽습니다.

가장 큰 이유는 AI의 '불확실성' 때문입니다. 답변이 매번 달라지거나 정해진 절차를 벗어날 수 있다는 불안감은 기업이 선뜻 AI를 실무에 배치하지 못하게 만드는 장벽이 되죠.

이제는 단순히 대화를 잘하는 수준을 넘어, 정확한 정보만을 근거로 답변하고 주문 조회나 결제 취소 같은 시스템 액션을 오차 없이 수행하는 '실무형 에이전트'가 필요한 시점입니다.

해피톡은 이 혁신적인 상담 환경을 구현하기 위해 오랜기간 연구하고 여러 번의 시행착오를 거쳤습니다.

일명 ‘프로젝트: 아이비’.

"AI가 매뉴얼을 지키면서도 맥락에 맞게 유연하게 답변할 수 있을까?", "상담사의 업무를 기술적으로 지원하는 진짜 AI 파트너가 될 수 있을까?”

현장의 이 근본적인 의구심을 해결하고, 가장 정교한 AI 상담 환경을 구축하기 위한 긴 여정의 기록을 실제 프로젝트 담당자 5인의 목소리로 담아냈습니다.

본 편에서는 AI 개발 리드, AI 에이전트 기획자와 먼저 만나보겠습니다.

하이브리드 구조로 설계한 AI의 정체성

Q. 프로젝트 타이틀인 '아이비'가 독특해요. 이렇게 이름 짓게 된 배경이 궁금합니다.

지엠(AI 개발 리더) : 담쟁이 덩굴을 뜻하는 식물 아이비의 특징과 우리가 정의한 AI 모습이 닮아서 붙인 이름입니다. 아이비는 여러 줄기를 공유하고 서로 협동하면서, 하나가 되어 목표를 향해 뻗어가는 특징이 있는데요.

해피톡 AI는 규칙대로 동작하는 워크플로우(시나리오) 기반 챗봇과, 유연하게 대응하는 LLM 두 방식의 장점을 하나로 엮은 하이브리드 AI입니다. 일반적인 대화는 AI가 진행하고, 반드시 지켜야 할 프로세스가 있을 때는 워크플로우 기반 응대로 전환하는 방식이죠.

워크플로우와 AI가 협동해 하나의 큰 줄기가 되고, 다른 줄기들로도 뻗어나갈 수 있는 형태기 때문에, 아이비가 해피톡의 AI 프로젝트를 대표할 수 있는 가장 적합한 이름이라고 생각했습니다.

Q. 해피톡의 AI를 '완전 자율형 AI'가 아닌 '하이브리드 구조'로 설계한 이유는 무엇인가요?

지엠 : 가장 큰 이유는 LLM의 지나친 자율성입니다.

AI를 업무에 도입할 때 신뢰성이 기본이 되어야 하지만, LLM은 지침을 완벽히 따르지 않거나 거짓말을 하는 경우가 있으니까요. 또한 프롬프트 인젝션(Prompt Injection, 프롬프트를 조작해 AI가 설정된 규칙을 어기게 만드는 공격 기법)과 같은 다양한 공격 방식이 있기에 LLM에게 무제한으로 정보와 권한을 줄 수는 없습니다.

특히 엔터프라이즈 환경에서 다양한 자동화를 진행할 때, 반드시 지켜야 할 프로세스들이 있습니다. 하지만 프롬프트 작성도 어렵고, 잘 작성한다고 하더라도 AI가 누락하거나 마음대로 진행하는 경우가 많습니다. 다른 고객의 정보를 발설하거나 잘못된 파라미터로 API를 호출해 큰 문제가 생길 수도 있고요.

따라서 AI에게는 대화와 계획 수립, 워크플로우 호출에 대한 역할을 부여하고, 워크플로우에는 업무 프로세스를 녹여넣을 수 있는 형태로 만들어가고 있습니다.

로디(AI 에이전트 기획자) : 모든 일을 알아서 처리해주는 완전 자율형 AI는 이상적으로 보이지만, 실제 기업 환경에서는 오답과 예외 상황에 대한 리스크가 큽니다. 특히 커머스나 금융처럼 ‘틀리면 안 되는’ 산업에서는 통제 가능성이 더 중요하다고 판단했습니다.

그래서 반복적이고 표준화된 업무는 AI가 처리하고, 판단과 예외 영역은 사람이 개입하는 하이브리드 구조를 선택했습니다.

이 균형은 자동화 효율을 확보하면서도, 고객사의 브랜드와 운영 리스크를 함께 관리할 수 있다는 점에서 중요합니다.

불확실성을 확신으로: 독자적 RAG 기술로 신뢰성 구현하기

Q. 말씀하신 것처럼 AI 도입에는 신뢰성 문제가 항상 따라오는 것 같아요. 서비스 개발 과정에서 마주한 난관이 있었나요?

지엠 : 사실 AI를 다루는 것 자체가 가장 큰 난관이고 고비였습니다. 엔지니어로서 불확실한 것을 마주하면 정말 괴롭거든요. 동일한 입력에는 동일한 응답이 있어야 하는 것이 당연하고, 모든 것은 논리적으로 설명이 될 수 있어야 합니다.

하지만 지금도 LLM이 답변을 왜 그렇게 생성했는지 아무도 정확히 설명할 수 없습니다. 때문에 컨텍스트·프롬프트 엔지니어링 또한 가이드는 있지만 정답지는 없는 상황입니다. 고객도 프롬프트의 일부 요소를 제어할 수 있도록 해야 하는데 난감한 거죠. LLM 모델마다 특성이나 성능도 천차만별이고 정확하게 정의되어 있지 않기에, 결국 경험과 테스트를 기반으로 시행착오를 거쳐 완성해 나갈 수밖에 없습니다.

결론적으로는 회사의 전폭적인 지원으로 상당한 시간과 비용을 투자받아 다양한 분야에서 수많은 실패를 경험할 수 있었습니다. LLM의 동작 습관을 해석할 수 있게 된 이후로, 현실적인 목표 설정과 필요한 R&D 요소들을 정리할 수 있었습니다.

Q. AI의 불확실성이 베테랑 엔지니어도 긴장하게 하네요. 하지만 지식베이스라는 정답지 안에서 근거를 찾도록 제어하고 있죠?

지엠 : 네, 지식베이스는 응대에 필요한 지식을 등록하고 학습 및 관리하는 곳입니다. 지식베이스를 기반으로 AI의 자유 생성 범위를 줄이고, 승인된 공식 정보를 기반으로 신뢰도 높은 답변을 생성할 수 있죠. 할루시네이션 문제는 100% 완벽하게 해결되진 않았지만, 상용 서비스가 가능할 정도로 크게 억제할 수 있습니다.

핵심은 컨텍스트 엔지니어링인데요. ‘정확하게 검색’해서 ‘필요한 내용만 LLM에게 전달’하는 Agentic RAG기술을 독자적으로 구축했습니다. 전처리부터 청킹, 검색, 후처리까지 전 과정에 대해 특허 출원을 준비 중일 정도로 공들였습니다.

Q. 방대한 매뉴얼이나 정책을 AI 학습에 최적화된 지식베이스로 만들기 위한 가이드라인도 필요할 것 같은데요.

로디 : AI가 정확히 찾아 쓰기 쉬운 구조를 만드는 데 집중했어요.

사람 기준으로 보기 좋은 문서를 그대로 지식베이스에 쌓으면 AI는 맥락을 정확히 잡기 어렵습니다. 그래서 매뉴얼이나 정책을 질문 단위로 재구성하고, 조건·예외·제한 사항을 명확히 분리하는 구조를 가이드라인으로 설계했습니다.

긴 문서를 그냥 요약하는 것이 아니라, 실제 고객 질문에 바로 매칭될 수 있는 단위로 쪼개는 작업이 핵심입니다.

Q. 그럼 지식베이스에 적재된 데이터 관리에 필요한 안전장치도 설계되어 있을까요?

지엠 : 기업의 내부 지식을 다루니까요. 기본적으로 에이전트가 사용할 지식베이스를 선택할 수 있게, 용도에 따라 분리할 수 있도록 설계돼 있습니다.

예를 들어볼까요. VIP 등급의 회원에게만 특별 할인 정보를 안내해야 한다면, 챗봇 시나리오에서 회원 등급 변수를 기준으로 다른 에이전트에게 연결하도록 구성하고, 각각의 에이전트에서는 허용된 범위의 지식 베이스만 선택해 다른 내용으로 정보를 제공하도록 구성할 수 있습니다.

특히 프롬프트 인젝션 공격에 대응하기 위해, 도구 호출 시 에이전트가 파라미터를 직접 생성하는 대신 시스템 내부 변수를 활용하는 안전 장치를 마련했습니다. 이를 통해 공격자가 임의로 타인의 정보를 조회하거나 변경하는 것을 원천적으로 차단하고 있습니다.

대화에서 실행으로, 일하는 AI 설계하기

Q. 해피톡 AI는 실무를 완성하는 AI에이전트를 지향합니다. 결제 취소나 배송조회같은 실제 액션을 AI와 연결할 때 기획적으로 가장 고민했던 부분은 무엇이었나요?

로디 : 해피톡 AI의 궁극적인 목표는 “말 잘하는 AI는 널려있으니, 우리는 일하는 AI를 만들자”입니다.

가장 고민했던 부분은 ‘대화를 실행으로 끊김 없이 연결하는 구조’였어요. 많은 AI가 답변에서 멈추지만, 실제 상담 현장에서는 시스템 액션까지 이어져야 일이 끝나니까요.

그래서 도구와 인증 정보를 사전에 등록해두고, 고객 문의가 들어오면 별도의 추가 확인이나 후속 처리 없이 필요한 사용자 정보를 자동으로 불러와 바로 실행할 수 있도록 설계했습니다. 상담 과정에서 다시 로그인하게 하거나 정보를 반복 요청하지 않도록, 인증·권한·API 연결을 미리 구조화한 것이 핵심이었죠.

대답은 물론이고 실제 업무 흐름 안에서 바로 작동할 수 있는 AI 서비스를 설계하는데 집중했습니다.

Q. 말씀하신대로 요즘 상담현장에서도 AI 활용이 활발해요. '이 기능만큼은 해피톡 AI가 압도적'이라고 자부하시는 포인트가 있나요?

로디 : 잘 만들어진 AI를 잘 사용할 수 있도록 하는 것도 중요하잖아요. 기술적 숙련도가 낮은 관리자도 고성능 에이전트를 구축할 수 있도록, AI 설정이 ‘전문가의 영역’이 아니라 ‘업무를 세팅하는 과정’처럼 느껴지도록 설계했습니다.

구체적으로는 지식과 액션을 연결하면 자동으로 동작하는 구조를 기반으로, ‘쉬운 설정 모드’와 ‘전문 설정 모드’를 분리해 뒀는데요.

‘쉬운 설정’은 최소한의 단계, 클릭 한 번 수준으로도 에이전트 페르소나를 설정하는 등 AI를 실행할 수 있도록 단순화했고, ‘전문 설정’은 조건·분기·세부 액션까지 확장해 보다 유연하게 구성할 수 있도록 만들었습니다.

해피톡 AI 에이전트는 누구나 시작은 쉽게, 필요할 때는 깊이 있게 확장할 수 있는 서비스입니다.

지엠 : 논문을 포함해 현재까지 알려진 다양한 RAG 방식들은 빠르지만 부정확하거나, 느려도 정확한 방향으로 구분됩니다. 한쪽에 치우쳐진 경향을 보이죠.

하지만 해피톡이 독자적으로 개발한 방식은 상대적으로 빠르고 상당히 정확한 컨셉을 갖고 있습니다. 유기적으로 연결되는 여러가지 요소들이 있지만, 각각을 별도로 AWS, Azure 등에서 제공하는 동일 서비스와 비교해 벤치마킹을 진행해봤을 때도 훨씬 빠르고 정확한 결과가 도출됐습니다. 에이전트 자체의 성능 개선과 자기개선 에이전트를 구현하기 위해 가장 핵심적인 부분으로 상당한 노력을 들이고 있는 요소입니다.

지식베이스 역시 빠르지만 훨씬 정확한 검색이 가능한 독자적인 시스템입니다. 정보를 학습했을 때, 다른 시스템 대비 성능 저하가 적고 적중률이 높기 때문에 서비스를 장기간 지속할수록 큰 효과를 얻을 수 있습니다.

현재 OBT 중인 서비스에는 일부 요소만 반영됐는데요. 앞으로 큰 성능 개선이 있을 예정입니다.

스스로 진화하는 해피톡 : 자기 개선 에이전트로

Q. 똑똑한 답변을 넘어 실무를 처리하는 ‘실행형 에이전트 해피톡 AI’,어디까지 진화할까요?

지엠 : 사람이 반드시 개입할 필요가 없는 상담은 혼자서 처리하고, 경험을 축적해가며 자기 스스로 개선하 는 ‘Self-Improving Agent’가 가시화된 목표입니다.

앞으로 상담사의 역할은 단순 응대를 넘어 에이전트를 관리하거나 에이전트가 해결할 수 없는 고난도 과업을 처리하는 매니저로 진화할 것이고요.

아직은 기반이 되는 첫 단추만 론칭한 상태이기에 조금 부족하지만, 오랜 기간 R&D를 진행하고 장기 로드맵을 구상해 실행한 상황이기에 생각보다 빠르게 만나보실 수 있을 것으로 기대하고 있습니다.