요즘 AI를 잘 활용한다는 말은 무엇을 의미할까?
많은 AI 도구를 사용하고, 여러 에이전트를 동시에 실행하고, 반복 업무를 자동화하는 모습을 떠올릴 수 있다. 나 역시 Codex에게 자료 조사를 맡기고, 글을 다듬고, 서비스를 배포해달라고 말한다. 예전이었다면 시작하지 못했을 일들을 직접 시도할 수 있게 됐다는 점에서 꽤 큰 도움을 받고 있다.
다만 많이 맡기고 있다는 사실만으로 AI를 잘 쓰고 있다고 말할 수 있을까?
최근에는 AI에게 무엇을 시킬지보다, 무엇을 시키지 않을지를 판단하는 능력이 더 중요하다는 생각이 든다.
같은 답이 필요한 일과 판단이 필요한 일
요즘IT의 「AI 시대의 엔지니어링: 이 일, 정말 AI에 시켜야 하는가?」에서는 업무를 결정론적인 영역과 확률적인 영역으로 나눈다.
결정론적인 영역은 같은 입력을 넣으면 항상 같은 결과가 나와야 하는 일이다. 정해진 형식으로 데이터를 변환하거나, 규칙에 맞춰 파일을 만들고, 이미 정답이 있는 내용을 반복 처리하는 일이 여기에 가깝다.
이런 일에는 기존 자동화 도구가 더 적합할 수 있다. 한 번 규칙을 정해두면 빠르고 저렴하게 같은 결과를 반복해서 만들 수 있기 때문이다. 굳이 매번 조금씩 다른 답을 내놓는 AI에게 맡길 이유가 없다.
반면 사용자의 요구를 해석하고, 여러 대안을 비교하며, 정답이 하나로 정해지지 않은 문제를 다룰 때는 AI가 꽤 유용하다. AI에게 초안을 맡기고 예상하지 못한 선택지를 받아본 뒤, 사람이 그중 적절한 답을 고를 수 있다.
여기서 중요한 것은 AI와 기존 자동화 중 무엇이 더 뛰어난가가 아니다. 어떤 일에 어떤 방식을 사용해야 하는가다.
결과보다 먼저 실패를 정의해야 한다
AI에게 일을 맡길 때 우리는 보통 원하는 결과부터 설명한다.
“이 기능을 만들어줘.”
“자료를 조사해줘.”
“문서를 작성해줘.”
그런데 실제 업무에서는 원하는 결과만큼이나 실패했을 때 어떻게 해야 하는지도 중요하다.
자료를 찾지 못하면 모른다고 말해야 하는가, 비슷한 자료로 추론해도 되는가? 코드를 수정하다가 기존 기능과 충돌하면 계속 진행해야 하는가, 아니면 멈추고 물어봐야 하는가? 배포와 삭제처럼 되돌리기 어려운 작업은 어디까지 스스로 수행해도 되는가?
GeekNews에 소개된 「외부 루프를 소유하라」는 에이전트가 내부 실행 과정을 맡더라도 배포와 결과에 대한 책임은 사람이 가져야 한다고 설명한다.
결국 AI에게 자율성을 주려면 먼저 경계가 있어야 한다.
무엇을 완료라고 볼 것인지, 몇 번까지 다시 시도할 것인지, 어떤 상황에서 사람에게 물어볼 것인지, 절대로 실행하면 안 되는 작업은 무엇인지를 정해야 한다. 이 기준이 없다면 AI는 일을 빠르게 진행할 수는 있어도 올바른 방향으로 진행하고 있는지는 판단하기 어렵다.
PM은 무엇을 맡겨야 할까
AI 시대의 PM에게 기술적인 이해가 필요하다고 말하면 흔히 코드를 얼마나 작성할 수 있어야 하는지를 떠올린다.
물론 직접 만들어보는 경험은 중요하다. 어떤 요청이 간단해 보이지만 실제로는 여러 시스템과 연결되는지, AI가 어느 지점에서 엉뚱한 결정을 내리는지 알아야 엔지니어와도 제대로 이야기할 수 있기 때문이다.
다만 내가 생각하기에 더 중요한 것은 일을 나누는 능력이다.
어떤 문제를 AI에게 탐색시킬 것인가, 어떤 결과는 기계적으로 검증할 수 있는가, 무엇은 담당자의 전문적인 판단이 필요한가, 그리고 문제가 생겼을 때 누가 끝맺음을 지을 것인가를 정하는 것.
이 역할은 에이전트가 많아질수록 오히려 중요해질 것 같다. 여러 에이전트가 빠르게 결과를 만들어도 그것들이 서로 맞물려 돌아가게 하는 책임까지 저절로 생기지는 않기 때문이다.
AI가 초안을 작성할 수는 있다. 하지만 무엇을 주장할지 결정하는 일까지 맡겨서는 안 된다.
AI가 코드를 만들 수는 있다. 하지만 사용자에게 어떤 위험을 허용할지 결정하는 일까지 맡겨서는 안 된다.
AI가 여러 선택지를 제시할 수는 있다. 하지만 어떤 결과를 책임질지는 사람이 정해야 한다.
결국 AI를 잘 쓴다는 것은 가장 많은 일을 맡기는 것이 아니다.
무엇을 맡기고, 무엇은 끝까지 붙들 것인지 아는 것. 이것이 지금 내가 생각하는 AI 활용 능력이다.