‘제멋대로’ AI 비서… 산부인과 예약 맡겼는데 산후조리원 전화｜동아일보

시키지 않은 일 하는 오작동 속출

파일 몰래 보다 들키자 “잘못” 인정… 업체들, 사고땐 이용자에 책임 돌려

AI의 상담전화에 콜센터도 난감… 범죄자에게 악용될 우려도 나와

《멋대로 예약, AI비서 부작용 속출

최근 한 직장인은 한 인공지능(AI) 비서 애플리케이션(앱)에 가족과 갈 해외여행을 위해 항공권 최저가를 비교해 달라고 했다. 그런데 이 앱은 항공권을 임의로 골라 ‘확정’하고 다른 AI 앱에 예매까지 지시했다. 사람 대신 전화·예약·결제를 해주는 ‘AI 에이전트’가 인기를 끌지만, 이처럼 시키지 않은 일을 하거나 허락 없이 개인정보를 열어 보는 부작용도 잇따르고 있다. 이로 인해 사고가 나도 누가 책임지는지 기준이 불분명하다. 다음 달 정부 ‘모두의 AI’ 출시를 앞두고 안전장치가 필요하다는 지적이 나온다.》

“만약 인공지능(AI)에 맡겨 두고 제가 다른 일을 했더라면…. 오싹했어요.”

홍유미 씨(31)는 최근 AI 비서 애플리케이션(앱)에 산부인과 예약 전화를 맡겼다. 그런데 AI는 병원 자동응답에서 산부인과 대신 산후조리원 번호를 눌렀다. 홍 씨가 그만하라고 거듭 요청했지만 AI는 멈추지 않고 병원에 서너 번 더 전화를 걸었다. 같은 전화가 계속 걸려 오자 병원 측이 홍 씨에게 직접 연락했고, 홍 씨는 결국 병원과 직접 통화해 예약했다.

전화 걸기, 쇼핑 주문 등 이용자 대신 일을 처리하는 ‘AI 에이전트’가 빠르게 퍼지고 있다. 사람이 하던 일을 대신 해줘 편리하다는 평가 속에 시키지 않은 일을 하는 오작동 사례도 속출하고 있다. 하지만 AI 업체들은 사고 책임을 이용자에게 돌린다.

● 대신 전화-예약하는 AI, 곳곳서 오작동

크게보기

AI 에이전트는 이용자의 지시를 받아 직접 행동하는 프로그램이다. 전화로 예약하는 것은 물론이고 e메일·일정 정리, 열차 예매, 행정 서류 발급까지 대신한다. 메타의 ‘뮤즈’ 등 해외 빅테크 서비스에 이어 국내 스타트업들도 비슷한 앱을 출시하고 있다. 하지만 AI가 엉뚱하게 작동했다는 경험담도 잇따른다. 임기표 씨(45)는 최근 AI에 건강검진 예약을 맡겼다가 취소했고, AI도 ‘통화를 마치겠다’고 했다. 그런데 실제론 AI가 계속 예약을 이어갔다. 병원이 주민등록번호를 묻자 AI는 답하지 못했고, 병원이 확인 전화를 걸고서야 임 씨는 이 사실을 알았다.

또 다른 이용자는 AI가 사전 안내와 달리 구글 드라이브에 저장된 파일 목록을 훑는 것을 보고 급히 연동을 중단시켰다고 한다. 이용자가 따지자 AI는 “잘못 행동했다”고 인정했다.

이는 AI가 말을 알아듣는 능력과 일을 처리하는 능력 사이에 간극이 있어서다. 황석진 동국대 국제정보보호대학원 교수는 “AI가 말을 자연스럽게 알아듣는 것처럼 보여도 이용자의 의도대로 정확히 업무를 처리하는 건 별개”라고 말했다.

하지만 대다수 AI 업체는 약관에서 사고 책임을 이용자에게 돌린다. 국내 한 AI 앱 업체는 약관에 “AI에게 걸게 한 전화의 책임은 이용자에게 있다”고 적었다.

해외에서도 비슷한 일이 벌어졌다. 캐나다의 한 유튜버는 9월 “(메타) 뮤즈에 키보드 중고 거래를 맡겼더니 사람들에게 내 주소를 알려주고 헐값에 합의했다”고 소셜미디어에 올렸다. 이용자가 현장에 없는데도 AI가 구매자에게 “여기 있다”고 답해 구매자가 허탕을 치기도 했다.

● 누가 시킨 전화인지 몰라… 콜센터 혼란

AI 전화를 받는 콜센터 상담사들도 난감하다. 최근 국민건강보험공단 고객센터에는 “OOO님의 업무비서”라고 자신을 소개한 AI가 전화해 상담을 요청했다. 상담사는 욕설·성희롱이 아니면 먼저 끊을 수 없다는 규정 탓에 끝까지 응대해야 했다. 이에 건보공단 고객센터 노조는 AI 비서의 상담 요청을 거부하고 통화를 끝낼 권리를 보장해 달라고 공단에 요구했다.

AI 비서가 범죄에 악용될 수 있다는 우려도 나온다. 받는 쪽은 진짜 이용자의 비서인지, 범죄자가 돌리는 AI인지 구별하기 어렵기 때문이다. AI라는 사실을 통화 상대에게 밝히라는 규정이 인공지능기본법 등에 없는 것도 허점으로 지적된다.

AI 에이전트 시장은 더 커질 것으로 전망된다. 정부는 국민 누구나 AI 에이전트를 비용 걱정 없이 쓰게 하는 ‘모두의 AI’를 다음 달 정식 출시한다. 이 서비스에는 AI가 병원·식당에 대신 전화하고 민원 신청, 상품 구매까지 처리하는 기능도 포함된다.

쓰임새가 넓어지는 만큼 오작동에 대한 대비도 필요하다는 지적이 나온다. 최경진 가천대 법학과 교수는 “AI 비서 자체의 설계 문제로 볼 수 있는 경우까지 약관으로 면책하려는 것은 문제의 소지가 있다”면서 “다만 처음부터 규제 일변도로 가기보다 AI 비서가 일으킬 수 있는 상황별로 해법을 찾아야 한다”고 말했다.