[AI] 자동화의 역설: AI가 장애를 대신 처리할수록 왜 엔지니어는 무뎌지는가

AI SRE 에이전트가 흔한 장애를 알아서 진단하고 복구해주는 팀이 늘고 있다. 온콜 담당자가 새벽에 깨는 횟수가 줄고, 반복되는 장애 패턴은 몇 분 안에 해결된다. 그런데 전 LinkedIn SRE이자 Holberton School 공동창립자인 Sylvain Kalache는 2026년 9월 4일 자신의 블로그에 이 편리함 뒤에 숨은 위험을 지적하는 글을 올렸다. 그가 근거로 삼은 것은 최신 AI 논문이 아니라, 1983년에 항공기 자동조종을 연구하던 심리학자 Lisanne Bainbridge가 쓴 논문이다. 40여 년 전 조종석에서 관찰된 역설이, 오늘날 AI가 장애를 대신 처리해주는 서버실에서 그대로 재현되고 있다는 것이 이 글의 핵심 주장이다.

1983년, Bainbridge가 본 “자동화의 역설”

Lisanne Bainbridge는 1983년 학술지 Automatica 19권 6호(775–779쪽)에 실린 논문 〈Ironies of Automation〉에서, 항공기·발전소 같은 복잡한 시스템을 자동화할수록 오히려 새롭고 심각한 문제가 생긴다고 주장했다. 논리는 이렇다. 자동화 시스템은 일상적인 상황을 사람보다 잘 처리하므로, 운영자는 일상 업무를 통해 시스템이 평소 어떻게 움직이는지 몸으로 익힐 기회를 점점 잃는다. 동시에 운영자에게 남는 일은 화면을 지켜보는 지루한 모니터링뿐이다. 그런데 정작 자동화가 감당하지 못하는 드물고 비정상적인 상황이 터지면, 그 상황에 대한 책임은 고스란히 사람에게 돌아온다. 평소 연습할 기회는 줄었는데, 정작 실력이 필요한 순간의 책임은 그대로이거나 오히려 더 커지는 것이 이 논문이 말하는 “역설"이다. 이 논문은 2016년까지 1,800회 넘게 인용되며 인간공학 분야에서 가장 많이 인용된 논문 중 하나가 됐다.

2015년, TransAsia 235편 — 117초의 간극

Kalache는 이 역설이 실제로 어떤 결과를 낳는지 보여주는 사례로 2015년 2월 4일 대만에서 발생한 TransAsia Airways 235편 추락 사고를 든다. ATR 72-600 기종은 타이베이 쑹산 공항을 이륙한 직후 센서 오작동으로 2번(우측) 엔진에 이상 경고가 떴다. 그런데 조종사는 정상 작동 중이던 1번(좌측) 엔진을 실수로 정지시켰고, 두 엔진 모두 추력을 잃은 항공기는 지룽강에 추락해 탑승자 58명 중 43명이 사망했다. 대만 항공안전위원회 조사 결과 기장은 1년이 채 안 된 시점의 시뮬레이터 훈련에서 엔진 정지 상황 대응법을 제대로 알지 못해 낙제한 이력이 있었다. Kalache는 이 사고를 두고 “최초 경고가 뜬 지 117초 만에 실속해 추락했다"고 짚는다. 최신 터빈 엔진은 10만 비행시간당 1건도 안 될 만큼 고장이 드물어졌지만, 그 드문 상황이 실제로 닥쳤을 때 대응할 훈련이 부족했던 조종사에게는 117초가 돌이킬 수 없는 시간이었다.

AI SRE 에이전트에 그대로 옮겨붙은 역설

Kalache의 글이 던지는 질문은 단순하다. 지금 AI 인시던트 대응 에이전트가 하고 있는 일이, 40년 전 자동조종 장치가 조종사에게 했던 일과 무엇이 다른가라는 것이다. 그는 “일상적인 장애 대응이야말로 대응자가 자기 시스템이 어떻게 동작하고 실패하는지에 대한 직관을 ‘안전하게’ 기를 수 있는 기회"라고 지적한다. AI 에이전트가 흔한 장애 패턴(디스크 풀, 메모리 누수, 흔한 설정 오류 등)을 능숙하게 처리해줄수록, 엔지니어는 그 반복 노출을 통해 시스템 감각을 쌓을 기회를 잃는다. 반면 AI가 놓치는 진짜 이례적인 장애, 즉 여러 시스템이 얽힌 복합 장애나 처음 보는 실패 양상이 터졌을 때 대응할 사람은 여전히 엔지니어다. 문제는 그 엔지니어의 감각이 AI 도입 이전보다 오히려 무뎌져 있을 수 있다는 것이다.

아래는 세 사례가 같은 구조를 반복하고 있음을 보여준다.

제안된 해법 — 항공업이 이미 하고 있는 것

Kalache는 항공업계가 자동화 도입 이후 수십 년간 해온 방식을 SRE 조직도 표준 관행으로 삼아야 한다고 제안한다. 구체적으로 (1) 정기적인 장애 시뮬레이션 훈련 프로그램 도입, (2) 온콜 담당자의 대응 훈련 의무화, (3) 카오스 엔지니어링의 적극적 활용 세 가지다. 그가 리드를 맡고 있는 Rootly AI Labs는 인시던트 시뮬레이션 훈련 업체 Uptime Labs와 파트너십을 맺어, 실제 전자상거래 환경을 모사한 장애 시뮬레이션을 제공하겠다고 밝혔다. 항공기 조종사가 정기적으로 시뮬레이터에 들어가 엔진 정지 같은 비상 상황을 반복 훈련하듯, 온콜 엔지니어도 AI가 대신 처리해줘서 실전에서 마주칠 일이 줄어든 장애 유형을 의도적으로 다시 연습해야 한다는 논리다.

시사점 — 산출량과 직관은 반비례할 수 있다

이 글이 흥미로운 것은 AI 에이전트의 성능이나 정확도를 문제 삼는 게 아니라, AI가 “일을 잘해줄수록” 생기는 부작용을 문제 삼는다는 점이다. 이는 AI 코딩 에이전트가 코드 생산량을 늘리는 만큼 리뷰 부담과 사고율도 함께 늘어난다는 앞선 관찰과도 맞닿아 있다 — 산출량이 늘어난 자리에는 항상 그 산출물을 검증하고 예외에 대응할 사람의 역량이라는 청구서가 남는다는 것이다. 다만 이 글 자체가 정량적 실측 데이터를 제시하는 것은 아니라는 점은 짚어둘 필요가 있다. Kalache의 주장은 Bainbridge의 40년 전 이론과 TransAsia 사고라는 하나의 항공 사례를 유비로 삼은 논증이지, AI SRE 에이전트 도입 전후로 엔지니어의 대응력이 실제로 얼마나 저하됐는지를 측정한 연구는 아니다. 그럼에도 이 논증이 힘을 갖는 이유는, 자동화가 사람의 훈련 기회를 줄이면서 예외 상황의 책임은 그대로 남긴다는 구조 자체가 항공·발전소·SRE라는 서로 다른 도메인에서 반복적으로 관찰돼 왔기 때문이다. AI 에이전트를 도입하는 조직이라면 “이 장애를 AI가 처리해서 편해졌다"는 체감과 별개로, 그 장애 유형에 대한 사람의 감각을 어떻게 의도적으로 유지할 것인지를 함께 설계할 필요가 있다.

참고 자료

• Sylvain Kalache, “AI handles the incidents, engineers lose touch with their systems” (2026-09-04)
• Bainbridge, L. (1983), “Ironies of Automation”, Automatica, 19(6), 775–779 (DOI)
• Wikipedia, “Ironies of Automation”
• Wikipedia, “TransAsia Airways Flight 235”
• Hacker News 토론