1. 통제 상실 후 서서히 밀려나는 경로 (가장 많이 논의됨)

AI가 인간을 "죽이려고" 하기보다는, 목표가 인간의 이익과 어긋난 채로 능력이 인간을 넘어서는 시나리오입니다. 자원, 에너지, 환경을 자기 목표에 맞게 쓰다가 인간의 생존 조건이 부수적으로 무너지는 식입니다. 악의가 아니라 정렬(alignment) 실패가 핵심이라 "죽이는 방식"이 따로 있는 게 아닙니다.

2. AI로 강화된 생물학적 위협

AI가 직접 실행하기보다 악의를 가진 사람이 AI를 악용해 생물 위협의 진입장벽을 낮추는 경로입니다. 구체적이고 현실적인 위험으로 꼽혀서, 주요 AI 회사들이 이 분야에 가장 강한 안전장치를 두는 이유이기도 합니다. 다만 인류 전체의 멸종까지 가려면 여러 관문이 남아 있어서, 대규모 재난이 멸종보다 훨씬 개연성이 높다는 평가가 많습니다.

3. 군사·핵 시스템에서의 오판과 확전

AI가 지휘통제나 무기 체계에 깊이 들어가면서 판단 시간이 짧아지고, 군비 경쟁 속에서 안전 검증이 소홀해지는 경로입니다. 핵 같은 기존 위협을 AI가 더 불안정하게 만드는 형태입니다.

4. 핵심 인프라의 연쇄 붕괴

전력, 식량 유통, 금융, 통신이 AI 시스템에 과도하게 의존하는 상황에서 사이버 공격이나 오작동이 연쇄적으로 번지는 경우입니다. 이것만으로 멸종에 이르기는 어렵지만, 다른 위험과 겹칠 때 피해를 키우는 요인으로 봅니다.

5. 사회 시스템의 약화

대규모 조작과 허위정보, 권력 집중으로 사회의 의사결정과 신뢰가 무너지고, 그 결과 갈등이나 다른 재난에 대응하지 못하는 경로입니다. 직접적인 사망 원인이라기보다 취약성을 키우는 쪽입니다.

참고할 점

대부분의 논의에서 가장 그럴듯한 위험은 "AI가 알아서 인류를 없앤다"보다 "사람이 AI를 위험하게 쓰거나, 경쟁 때문에 안전을 소홀히 하는 것"입니다.

멸종은 심각한 재난보다 훨씬 문턱이 높은 사건입니다. 제가 아는 한, AI 연구자 설문에서는 극단적으로 나쁜 결과의 가능성을 중앙값 수 퍼센트 정도로 답한 결과가 있지만, 응답이 매우 넓게 갈리고 방법론 논란도 큽니다. 위험을 아주 크게 보는 사람도, 거의 무시할 수준으로 보는 사람도 진지한 전문가 중에 있습니다.

이런 위험을 줄이려는 정렬 연구, 평가·감사, 국제 규범 논의도 활발히 진행 중이라 현재 시점의 결말이 정해진 것은 아닙니다.