“데이터가 곧 해자다”라는 말을 자주 듣는다.
회사가 오랫동안 쌓아온 데이터가 많을수록 경쟁사가 제품을 따라오기 어렵고, AI 시대에는 그 가치가 더 커질 것이라는 얘기다. 분명 데이터는 중요한 자산이다. 다른 회사가 쉽게 구할 수 없는 정보를 가지고 있다면 제품을 만드는 출발점부터 달라질 수 있다.
그런데 데이터를 많이 가지고 있다는 사실만으로 정말 해자가 만들어질까?
데이터가 계속 쌓이는데 제품은 달라지지 않는다면, 그 데이터는 무엇을 하고 있는 걸까?
저장된 데이터와 사용되는 데이터
GeekNews의 「데이터를 모으고 있는데 왜 해자가 되지 않을까」는 데이터의 양보다 사용자가 AI의 결과를 어떻게 수락하고, 거절하고, 수정했는지가 다시 제품을 개선하는 피드백 루프가 중요하다고 설명한다.
고객의 행동을 기록하는 것과 고객에게서 배우는 것은 다르다.
예를 들어 AI가 만든 답변을 사용자가 그대로 사용했는지, 일부를 고쳤는지, 완전히 버렸는지를 기록할 수 있다. 다만 수정했다는 사실만 저장해서는 부족하다. 왜 수정했는지, 어떤 기준에 맞지 않았는지, 다음에는 무엇이 달라져야 하는지까지 제품에 반영되어야 한다.
상담 서비스도 마찬가지다. 사용자가 어떤 질문을 많이 했는지 집계하는 데서 끝나면 문의 통계가 된다. 하지만 상담원이 어떤 답변을 고쳤고, 어떤 문제는 챗봇이 해결하지 못해 사람에게 넘겼으며, 최종적으로 고객의 문제가 어떻게 끝났는지까지 연결하면 제품을 개선할 자료가 된다.
데이터는 저장됐다고 저절로 움직이지 않는다.
누군가 질문하고, 해석하고, 제품에 다시 반영해야 한다.
AI 시대에 더 중요해지는 판단의 흔적
기존의 행동 데이터는 주로 사용자가 무엇을 눌렀고, 어디에서 이탈했으며, 얼마나 오래 머물렀는지를 보여줬다.
AI 제품에서는 한 가지 데이터가 더 생긴다. 사용자가 AI의 결과를 어떻게 판단했는가다.
어떤 답변은 그대로 사용했고, 어떤 답변은 한 문장만 남겼으며, 어떤 답변은 근거가 부족해 폐기했을 수 있다. 이 과정에는 사용자가 가진 업무 기준과 전문 지식이 들어 있다.
인터넷에서 문서를 수집하면 결과 데이터는 구할 수 있다. 하지만 실제 담당자가 어떤 순서로 확인했고, 어떤 위험 때문에 답을 거절했으며, 무엇을 근거로 최종 결정을 내렸는지는 크롤링만으로 얻기 어렵다.
내가 생각하기에 앞으로 더 가치가 커질 데이터는 단순한 정답보다 판단의 흔적에 가까울 수 있다.
다만 모든 수정 기록을 무조건 저장하면 된다는 뜻은 아니다. 개인정보나 민감한 업무 내용이 포함될 수 있고, 사용자가 우연히 내린 잘못된 판단까지 학습하면 제품이 오히려 나빠질 수 있다.
어떤 데이터를 모을 것인가만큼 어떤 데이터를 믿을 것인가도 중요하다.
데이터가 제품으로 돌아오는 길
PM으로 일하면서 데이터를 요청하면 보통 대시보드부터 떠올리게 된다. 지표를 정의하고, 이벤트를 심고, 결과를 확인한다. 물론 필요한 과정이다. 다만 대시보드를 확인한 뒤 제품에서 아무것도 달라지지 않는다면 데이터는 한 방향으로만 이동한 것이다.
사용자의 행동이 데이터베이스에 들어갔지만, 그 데이터가 다시 사용자의 경험으로 돌아오지 않는다. 분기에 한 번 지표를 확인하고 회의에서 공유하는 것만으로는 피드백 루프라고 말하기 어렵다.
루프가 만들어지려면 최소한 다음 흐름이 필요하다.
사용자가 결과를 사용하거나 수정한다. 그 이유를 확인할 수 있다. 반복되는 문제를 하나의 기준으로 정리한다. 제품이나 지식 베이스를 바꾼다. 그리고 정말 결과가 달라졌는지 다시 확인한다.
여기서 어느 한 단계라도 빠지면 데이터는 쌓이지만 제품은 배우지 못한다.
RAG를 구축하면서도 비슷한 생각을 했다. 어떤 문서를 검색했고 답변을 생성했는지만 기록하는 것으로는 부족했다. 관련 없는 문서가 검색됐는지, 근거가 있는데도 답하지 못했는지, 사용자가 원하는 질문 범위를 벗어났는지를 봐야 다음 검색과 답변을 개선할 수 있다.
결국 중요한 것은 데이터를 얼마나 많이 가지고 있는가가 아니었다. 그 데이터로 무엇을 고쳤는가였다.
복제하기 어려운 것은 데이터가 아니라 과정이다
경쟁사가 같은 문서를 구하고, 같은 모델을 사용하고, 비슷한 화면까지 만든다면 제품의 차이는 어디에서 생길까?
고객의 실제 업무 안에서 결과를 만들고, 그 결과에 대한 수정과 판단을 다시 제품에 반영하는 과정은 단기간에 복제하기 어렵다. 데이터 파일을 복사할 수는 있어도 왜 그렇게 고쳤는지에 대한 맥락까지 그대로 가져가기는 어렵기 때문이다.
물론 피드백 루프 하나가 모든 제품의 해자가 되는 것은 아니다. 유통, 브랜드, 가격, 고객 관계와 운영 능력도 함께 작동한다.
다만 AI 모델을 누구나 비슷하게 사용할 수 있는 환경에서는 어떤 모델을 먼저 연결했는가보다, 고객에게서 무엇을 배우고 얼마나 빠르게 제품에 되돌리는가가 더 오래 남을 수 있다는 생각이 든다.
데이터를 쌓는 것은 시작이다.
그 배움을 제품으로 끝맺는 것. 그때부터 데이터는 해자가 된다.