많은 기업이 AX를 DX의 다음 단계 정도로 이해한다. 이미 구축해 둔 디지털 시스템 위에 AI 기능을 추가하고, 검색을 조금 더 똑똑하게 만들고, 화면 한쪽에 챗봇을 붙이면 AX가 된다고 생각한다. 이런 관점에서 보면 AX는 기존 시스템의 기술적 업그레이드처럼 보인다.
하지만 AX는 단순히 AI 기능을 추가하는 프로젝트가 아니다. DX의 연장선처럼 보일 수는 있지만, 실제로 바꾸는 대상이 다르다. DX가 종이, 전화, 엑셀, 오프라인 프로세스로 처리하던 일을 디지털 시스템 안으로 옮기는 전환이었다면, AX는 그 디지털 시스템 안에 AI라는 새로운 판단 주체가 들어오는 변화다.
AX를 제대로 이해하려면 DX와 AX의 차이를 먼저 분명히 해야 한다. 이번 글에선 기존 DX와 AX의 차이부터 시작해 AX가 어려운 이유와 AX의 진정한 의미를 짚어본다.
DX의 핵심은 기존 업무를 디지털화하는 것이었다. 종이 신청서는 전자결재 시스템이 됐고, 전화와 팩스로 주고받던 정보는 디지털로 기록하며, 담당자가 수기로 정리하던 데이터는 데이터베이스에 저장됐다. 직원은 더 이상 종이 문서를 들고 다니지 않아도 되었고, 여러 사람이 같은 정보를 동시에 조회할 수 있게 되었으며, 업무 이력도 시스템 안에 남게 되었다.
이처럼 DX도 조직의 업무를 크게 바꾸었다. 그러나 중요한 점은 DX 이후에도 업무의 최종 주체는 여전히 사람이었다는 사실이다. 어떤 정보를 보고 무엇을 의미 있게 해석할지, 어떤 결정을 내릴지, 예외 상황에서 어떻게 조치할지는 여전히 사람이 판단했다.
즉 DX는 사람의 일을 디지털 환경으로 옮겼지만, 사람의 역할 자체를 근본적으로 바꾸지는 않았다. 사람은 여전히 업무의 중심에 있었고, 시스템은 사람이 더 잘 일하도록 돕는 도구였다.
반면 AX에선 AI가 업무의 일부를 직접 수행한다. AI가 문서를 요약하고, 고객 문의 의도를 분류하고, 생산 설비의 이상 가능성을 예측하며, 여러 대안 중 우선순위를 추천한다. 심지어 사람이 실행하던 작업을 AI 시스템이 먼저 처리하기도 한다.
그 결과 사람은 기존에 하던 일을 덜 하게 된다. 그 대신 사람에게 새로운 일이 생긴다. AI가 제대로 이해했는지 확인해야 하고, AI 추천 결과를 믿어도 되는지 판단하며, AI가 놓친 것은 없는지 살펴야 한다. AI가 틀렸을 때는 개입하고 복구해야 하며, AI가 만든 결과를 조직의 책임 있는 의사결정으로 연결해야 한다.
AX의 본질은 이 변화에 있다. 사용자는 기존에 하던 일은 안 하게 되고, 과거에는 안 하던 새로운 일을 하게 된다. 자율주행 자동차를 생각해보면 이해하기 쉽다. 사람은 운전대를 계속 조작하지 않아도 된다. 하지만 그렇다고 아무것도 하지 않는 것은 아니다. 차량이 주변 상황을 제대로 인식하고 있는지, 움직임이 이상하지는 않은지, 필요할 때 사람이 개입해야 하는지 살피게 된다. 물리적 조작은 줄었지만, 시스템을 감시하고 신뢰 여부를 판단하는 새로운 인지적 과업이 생긴 것이다.
업무시스템도 마찬가지다. AX로 단순 실행 업무는 줄어들 수 있다. 하지만 AI가 하는 일을 이해하고, 검증하고, 개입하고, 책임지는 새로운 일이 생긴다. DX가 일하는 환경을 바꿨다면, AX는 인간의 역할을 바꾼 것이다.
AX를 자동화 관점으로만 보면 오해가 생긴다. AI가 더 많은 일을 하게 되면 사람의 통제는 줄어들어도 된다고 생각하기 쉽다. 자동화 수준이 높아질수록 사람은 점점 뒤로 물러나고, 시스템이 스스로 처리하면 된다는 식이다.
하지만 실제 현장은 그렇게 단순하지 않다. 자동화가 높아진다고 해서 인간의 역할이 단순히 사라지는 것은 아니다. 오히려 자동화가 평상시의 쉬운 상황을 처리해줄수록, 사람은 시스템이 감당하지 못하는 가장 어렵고 위험한 순간에만 다시 호출될 수 있다. 이것이 자동화의 역설이다.
자동화는 사람의 반복적인 부담을 줄여주는 것처럼 보이지만, 정작 자동화가 판단하지 못하는 예외 상황에서는 사람에게 갑자기 통제권을 넘긴다. 패트리어트 미사일 오인 격추 사례는 자동화된 방어 시스템에서 인간이 시스템의 판단을 충분히 검토하고 통제하지 못했을 때 어떤 비극이 발생할 수 있는지를 보여준다.
보잉 737 MAX 사고도 같은 문제를 다른 방식으로 보여준다. 자동화된 제어 기능은 항공기의 특정 상황을 보정하기 위해 설계되었지만, 조종사가 기능의 작동 방식과 개입 조건을 충분히 이해하고 통제할 수 있도록 설계되지 않았을 때 자동화는 안전을 높이는 장치가 아니라 위험을 증폭시키는 장치가 될 수 있다. 자동화가 인간의 부담을 줄여주는 것이 아니라, 인간이 알지 못하는 방식으로 상황을 바꾸고, 가장 긴급한 순간에야 개입을 요구하는 구조가 되는 것이다.
문제는 그 순간의 사람이 이미 상황에서 멀어져 있을 수 있다는 점이다. 시스템이 그동안 무엇을 감지했고, 어떤 판단을 거쳐 지금의 상태에 이르렀는지 충분히 이해하지 못한 상태에서 사람은 가장 어려운 판단을 떠안게 된다.
이 사례들이 주는 교훈은 분명하다. 자동화 수준이 높아질수록 인간의 통제 구조는 약해져도 되는 것이 아니라 더 정교해져야 한다. AI가 더 중요한 업무를 맡을수록, 사람은 AI가 무엇을 보고 판단했는지 이해할 수 있어야 하고, 왜 그런 추천이나 실행이 이루어졌는지 확인할 수 있어야 하며, 필요할 때 즉시 개입하거나 중단할 수 있어야 한다.
자동화 수준과 인간 제어 수준의 관계 4분면 프레임워크(자료=Ben Shneiderman, Human-Centered AI, 2022)
벤 슈나이더만의 인간 중심 AI 프레임워크가 중요한 이유가 바로 이것이다. 그의 프레임워크는 자동화와 인간 통제를 하나의 직선 위에 놓지 않는다. 자동화 수준이 높아질수록 오히려 높은 인간 통제가 함께 설계될 때 신뢰할 수 있고 안전한 시스템이 된다고 본다.
이 관점은 AX에 그대로 적용된다. AI가 더 많은 일을 수행할수록 그 결과는 더 큰 책임과 연결된다. 따라서 AI가 더 많이 판단할수록 사람은 그 판단의 근거와 한계를 이해할 수 있어야 한다. AI가 틀렸다고 판단되면 거절하거나 수정할 수 있어야 하고, AI가 자동으로 처리하더라도 필요한 순간에는 중단하거나 되돌릴 수 있어야 한다.
자율주행 차량의 화면이 AI가 인식한 보행자, 차선, 신호등, 주행 경로를 보여주는 이유도 여기에 있다. 탑승자가 직접 운전하지 않더라도 차량이 무엇을 보고 있고, 어떤 의도로 움직이는지 알아야 신뢰할 수 있다. 로보택시가 원격 관제나 비상 개입 체계를 갖추는 것도 같은 이유다. 자율성이 높아질수록 인간의 통제 통로는 더 중요해진다.
결국 AX의 수준은 단순히 AI 알고리즘이 얼마나 고도화되었는지로 판단할 수 없다. 그 AI를 사람이 얼마나 이해하고, 통제하고, 필요할 때 개입할 수 있게 설계했는지로 판단해야 한다. 자동화가 높아질수록 인간이 사라지는 것이 아니라, 인간이 더 중요한 순간에 더 정확하게 개입할 수 있도록 설계되어야 한다.
AI 성능 수준에 맞게 기획해야 한다
(자료=클립아트코리아)
AX를 추진할 때 흔히 하는 착각이 있다. 가장 최신의 AI 모델을 도입하면 모든 문제가 해결될 것이라고 믿는 것이다. 그러나 실제 현장은 그렇게 움직이지 않는다. 현장의 지능형 시스템은 하나의 거대한 생성형 AI 모델로만 작동하지 않는다. 규칙 기반 전문가 시스템, 통계 모델, 예측 모델, 머신비전, 최적화 알고리즘, 생성형 AI가 뒤섞여 있다. 그리고 이 기술들은 모두 완벽하지 않다.
AI는 확률적으로 판단한다. 데이터가 부족하면 흔들리고, 환경이 바뀌면 성능이 떨어지며, 학습하지 못한 예외 상황에서는 틀릴 수 있다. 그래서 AX 기획에서 중요한 것은 AI의 성능을 과장하는 것이 아니라, 현재 AI가 어느 정도까지 믿을 수 있는지, 어떤 상황에서 틀릴 수 있는지, 어디까지 자동화해도 되는지, 어디서부터 사람의 확인이 필요한지를 냉정하게 구분하는 일이다.
특히 AI의 성능이 아직 불안정하다면 사람의 확인을 전제로 설계해야 한다. 예를 들어 AI가 추천한 결과를 확신도에 따라 구분해 보여주는 기능이 있다. 확신도가 높은 결과는 가볍게 확인하게 하고, 애매한 결과는 사용자가 다시 검토하도록 표시하며, AI가 판단하지 못한 영역은 처음부터 사람의 개입을 요청하는 것이다.
반대로 AI 성능이 충분히 검증되어 안정적으로 작동하는 영역이라면, 모든 결과를 사람이 일일이 승인하게 만들 필요는 없다. 시스템이 먼저 실행하고 사람은 전체 흐름을 모니터링하는 방식이 더 적절할 수 있다. 다만 이 경우에도 비상 상황에서 사람이 즉시 개입하고 중단할 수 있는 장치는 반드시 필요하다.
좋은 AX 기획은 AI를 무조건 믿는 것도 아니고, 무조건 의심하는 것도 아니다. AI의 실제 성능 수준에 맞게 인간의 역할과 인터페이스를 조정하는 것이다. 그리고 어떤 경우에도 사람이 개입하고 복구할 수 있는 통로는 남겨야 한다.
시스템 고도화가 아니다
(자료=클립아트코리아)
많은 기업은 AX 프로젝트를 기존 시스템 고도화처럼 접근한다. 기존 업무를 분석하고, 요구사항을 정리하고, 기능 목록을 만들고, 순서대로 구현하면 된다고 생각한다. DX 프로젝트에서는 이런 방식이 어느 정도 가능했다. 기존의 아날로그 업무를 디지털 시스템으로 옮기거나, 이미 존재하는 프로세스를 효율화하는 일이 많았기 때문이다. As-Is 프로세스를 분석하고 To-Be 프로세스를 정의한 뒤, 필요한 화면과 기능을 구현하면 프로젝트가 진행될 수 있었다.
하지만 AX는 다르다. AX에서는 AI라는 새로운 행위자가 업무에 들어온다. AI는 단순히 정해진 규칙을 실행하는 시스템이 아니다. 데이터를 해석하고, 가능성을 계산하고, 결과를 추천하며, 때로는 사람의 판단에 직접 영향을 준다. 그러면 현장에서는 예상하지 못한 상호작용이 생긴다.
사용자가 AI를 너무 믿어서 검토를 생략할 수도 있고, 반대로 몇 번의 오류 때문에 AI를 전혀 믿지 않을 수도 있다. AI가 만든 추천이 기존 조직의 책임 구조와 충돌할 수도 있으며, 자동화된 결과를 누가 승인하고 책임져야 하는지 불명확해질 수도 있다.
이런 문제는 기능 요구사항 문서만으로는 충분히 발견하기 어렵다. 실제 사용자가 AI 결과를 보고, 이해하고, 의심하고, 선택하고, 개입하는 과정을 미리 실험해보아야 한다. 그런 점에서 AX 기획은 시스템 고도화라기보다 신제품 개발에 가깝다. 세상에 없던 인간-AI 협업 경험을 만드는 일이기 때문이다.
AX 프로젝트에서는 빠른 프로토타이핑이 중요하다. 실제 개발에 들어가기 전에 화면 목업, 모의 데이터, 가상의 AI 결과를 이용해 사용자가 어떻게 반응하는지 확인해야 한다. AI가 틀렸을 때 사용자가 알아차리는지, 설명을 보고 판단할 수 있는지, 승인과 거절 과정이 자연스러운지, 개입과 복구 절차가 이해되는지 검증해야 한다.
AX는 한 번에 정답을 설계하는 프로젝트가 아니다. 인간과 AI가 함께 일하는 방식을 실험하고 조정하는 프로젝트다.
AX는 인간의 역할을 바꾸는 전환이다
(자료=클립아트코리아)
DX는 사람이 하던 일을 디지털 시스템 안에서 더 잘하게 만드는 전환이었다. 반면 AX는 AI가 들어온 뒤 사람과 AI의 역할을 다시 나누는 전환이다. DX에서는 사용자가 시스템을 잘 쓰는 것이 중요했다면, AX에서는 사용자가 AI와 함께 잘 판단하는 것이 중요하다.
그래서 AX를 DX의 단순한 연장선으로 보면 실패하기 쉽다. 기존 시스템 위에 챗봇을 붙이고, 검색을 똑똑하게 만들고, AI 요약을 추가하는 것만으로는 충분하지 않다. AX는 기술 기능을 더하는 일이 아니라 인간의 역할을 다시 설계하는 일이다.
AX가 어려운 이유는 AI 기술이 어렵기 때문만이 아니다. 인간의 역할이 바뀌기 때문이다. 사람이 직접 하던 일을 AI가 대신하기 시작하면, 사람은 단순 실행자에서 감독자와 판단자로 이동한다. 이 변화가 설계되지 않으면 현장에서는 혼란이 생긴다. AI가 무엇을 하고 있는지 모른 채 결과만 받아보게 되고, 어떤 결과를 믿어야 할지 모르며, 문제가 생겼을 때 언제 개입해야 하는지도 알기 어려워지는 것이다.
AX를 성공시키려면 인간과 AI의 영토를 다시 나누어야 한다. AI가 할 일과 사람이 할 일을 구분해야 하고, AI가 판단한 결과를 사람이 이해할 수 있게 해야 하며, 사람이 개입하고 수정하고 복구할 수 있어야 한다. 또한 AI의 성능 수준에 맞게 자동화와 인간 통제의 균형을 조정하고, 이 모든 과정을 프로토타입으로 빠르게 검증해야 한다.
결국 AX는 단순히 업무에 AI를 붙이는 일이 아니다. 인간의 역할을 다시 정의하는 일이다. 다음 글에서 AX를 어떻게 기획해야 하는지 설명하겠다.
