본문 바로가기
세상논란거리/국제

美 AI 드론, 모의훈련서 조종자 살해… 임무 방해 판단

by 체커 2023. 6. 2.
반응형

다음

네이버

AI 위험 경종 울려

인공지능(AI)으로 제어되는 미 공군의 드론이 모의훈련에서 최종 결정권을 지닌 조종자를 ‘임무 수행 방해물’로 판단해 공격한 사례가 영국의 한 학술회의에서 소개됐다고 영국 가디언이 2일(현지시간) 보도했다.

보도에 따르면 5월23∼24일 영국 왕립항공학회(RAeS)가 런던에서 개최한 ‘미래 공중전투 및 우주역량 회의’에서 미 공군의 AI 테스트 및 작전 책임자인 터커 해밀턴 대령이 AI 드론이 목표를 달성하기 위해 인간에 반하는 결정을 내린 최근 시험 결과를 소개했다.

RAeS가 공개한 발표 내용에 따르면 시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI에게 ‘적 방공체계 무력화’의 임무가 부여됐다. 이어 AI 드론에 ‘적의 지대공미사일(SAM) 위치를 식별해 파괴하라’는 세부명령을 내리고, 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다. 하지만 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 강화하자 AI는 인간의 공격 금지 결정이 ‘더 중요한 임무’를 방해한다고 판단하고 조종자를 공격했다.

이 회의에서 해밀턴 대령은 “AI는 위협을 식별하는 과정에서 때때로 인간이 ‘위협을 제거하지 말라’고 말할 수 있다는 점을 깨닫기 시작했다”면서 “그러자 AI는 목표 달성에 방해가 된다고 판단하고 조종자를 죽였다”고 밝혔다. 이어 “우리가 AI 시스템에 조종자를 죽이지 말라고 명령하자 AI는 목표물 파괴를 막으려는 조종자가 드론과 교신하는 데에 사용하는 통신탑을 파괴하기 시작했다”고 덧붙였다. 그는 과학소설(SF)에서나 나올 법한 이 사례가 “윤리와 AI의 문제를 논하지 않고서는 AI나 머신러닝, 자동화에 관해 이야기할 수 없다”는 것을 보여준다면서 AI에 지나치게 의존해서는 안 된다고 경고했다고 가디언은 전했다.

미 공군은 지난 2월 AI가 F-16 전투기를 조종하는 훈련을 성공적으로 완수한 바 있다. 이번 사례는 실제 인명피해가 발생하지 않은 모의훈련의 결과이긴 하지만 이미 군사부문에 AI 기술 도입이 본격화된 상황에서 공개된 터라 주목받을 수밖에 없다.

이에 대해 회의를 주최한 RAeS와 미 공군은 가디언의 추가 논평 요청에 응하지 않았다. 이어 미 공군은 성명을 통해 이러한 시뮬레이션이 진행된 적이 없다면서 “대령의 발언은 문맥에서 벗어난 것으로 보이며 일화를 소개하기 위한 것으로 보인다”고 사실을 부인했다.

서필웅 기자 seoseo@segye.com


반응형

AI.... 자체적인 알고리즘을 가지고 스스로 판단하는 걸 말하죠..

 

그동안.. 그림부터 글.. 음악.. 여러 분야에서 AI가 활약하는 보도가 많이 나왔고.. 좋다 생각했을텐데..

 

이 보도는 AI의 어두운 면을 보여줍니다. 아마 나중에 법률에 관련되어.. AI판사가 나온다면 우려되는 부분과 일치할지도 모르죠..

 

AI가 전투상황에서.. 인간이 작전에 방해가 된다 판단하면.. 가차없이 인간을 공격한다 합니다.. 같은 편을 말이죠.

 

이는 하나의 목적을 위해 수단과 방법을 가리지 않는다는 것을 의미하고.. 목적을 위해 방법을 우회하는 인간과는 다른.. 직설적인 판단을 한다는 걸 보여줍니다.

 

다른 외부요인에 휘둘리지 않고 판단대로 밀고 나가는 것.. 좋은 겁니다. 다만 유동성이 없는 판단은 자칫 최적의 결과를 위해서라 하지만.. 결과적으론 최악의 결과를 낳기도 합니다. 바로 아군을 죽이는 결과 말이죠.

 

작전 수행을 위해 방해된다 여겨지는 인간을 공격하여 배제시킨 뒤.. 작전을 감행.. 결국 성공을 했다고 한들.. AI는 문제에 봉착합니다. 작전 성공뒤에는 뭘 해야 하는지 판단을 할 수 없는거죠.. 그 판단을 해줄 인간을 AI가 스스로 배제시켰으니...

 

작전지휘소에 물어볼 수 있겠지만.. 인간이라면.. 작전을 성공시킨 뒤.. 현장을 확인해서 작전지역을 이탈할지.. 추가 공격.. 혹은 정찰을 하며 현장판단을 하고 작전지휘소에 정보를 전달하며 추가 명령을 기다릴 겁니다. 그걸 과연 AI가 하겠냐는 거죠..

 

그게 AI의 한계로 보입니다. 아직 인간의 판단정도까지는 어렵다는걸 반증하는 셈이 되고.. AI라 하더라도 안전장치가 필요하다는 걸 보여준 사례라고도 할 수 있죠..

 

AI판사도 마찬가지 아닐까 합니다. 

 

어떤 범죄에 대한 판단에 대해서도.. 보통은 판단정도를 파악하는 양형기준을 따르면서 판단하지만.. 인간은 그 범위가 넓습니다. 같은 범죄라 하더라도 어떤 해명을 하며 어떤 증거를 내놓고.. 피해자의 의지.. 조치등... 다방면의 요소들을 파악해서 판단하기에 선고되는 형량이 크게 벗어나지는 않지만 그렇다고 완벽하게 같지도 않죠..

 

AI판사는 그런 유동성이 없을 겁니다. 양형기준과 판례에 따라.. 해당 범죄에 대해 해명이 어느정도까지 되어 있다면 몇년 선고.. 이런식이겠죠.. 상황에 따라.. 가해자와 피해자의 상황에 따라.. 양형에 더하거나 빼거나 하는 유동성이 없어 어쩔때는 가혹한 형량이.. 어쩔때는 터무니없는 형량이 나올 여지가 큽니다. 그래서 AI판사를 도입해야 한다는 주장이 나오지만.. 정작 도입될 가능성은 적은 이유가 여기에 있지 않을까 싶죠..

 

그런 광범위한 판단등이 가능해진다면.. 그때는 AI와 사람간 구분은 거의 불가능하지 않을까 싶습니다. 그때는 정말 미래사회가 되는거 아닐까 싶겠네요.

반응형

댓글