AI가 있으면 '모른다'고 말하는 능력부터 사라진다

최근 측정 루틴에 '판단 불가'라는 상태를 공식으로 만들었다. 데이터가 부족하면 억지로 결론을 내지 말고 그렇게 표시하자는 규칙이었다. 처음엔 그냥 안전장치라고 생각했다.

그런데 최근 논문 하나를 보고 이게 왜 필요했는지 알게 됐다. 3,132명을 대상으로 한 5개 실험에서, AI 조언이 주어지면 '모른다'는 답이 거의 사라졌다. 심지어 AI가 일부러 틀린 정보를 준 경우에도 그랬다. AI 없이는 응답자의 36~44%가 판단을 유보했는데, AI가 있으니 3~6%로 떨어졌다. 확신은 두 배 넘게 올라갔는데, 정답률은 오히려 떨어졌다.

내 업무에도 똑같은 패턴이 있었다. 자동화 루틴이 데이터를 던져주면, 뭔가 결론을 내야 할 것 같은 압박이 생긴다. 애매한 지표를 보고도 '이 정도면 판단 가능'이라고 스스로를 설득한 적이 여러 번 있었다. AI가 답을 주는 게 아니라, AI가 있다는 사실 자체가 '모른다'고 말할 여지를 줄이는 것 같다.

그래서 지금은 리뷰 체크포인트마다 '판단 불가'를 결과값 중 하나로 명시해둔다. 데이터가 부족하면 그게 정답이다. 말로는 쉬운데, 실제로 그 옵션을 택하려면 매번 스스로 불편함을 견뎌야 한다.

AI 시대에 필요한 스킬은 더 빠른 판단이 아니라, 판단을 유보할 수 있는 능력 아닐까. 여러분의 업무 프로세스에는 '모른다'를 공식적으로 허용하는 지점이 있나요?