AI에 관한 한, 흑백으로 나뉘는 것일까요?

AI를 맹목적으로 신뢰하여 문제를 해결해야 할까요, 아니면 좋은 결과와 적절한 통제 사이에서 적절한 균형을 찾아야 할까요?

인공지능에게 우리 삶의 점점 더 많은 부분을 맡기려면 인공지능이 어떻게 결정을 내리는지 더 잘 이해하고, 잘못되었을 때 문제를 해결할 수 있도록 인공지능의 핵심을 파헤칠 수 있어야 합니다. 그러나 놀랍게도 이 문제는 전 세계 머신러닝 과학자들 사이에서 격렬한 논쟁의 대상이 되고 있습니다.

AI에 관한 한, 흑백으로 나뉘는 것일까요?

 

한쪽에서는 인간 전문가가 이해할 수 있는 방식의 패턴으로 설명할 수 있는 '화이트 박스' 또는 '설명 가능한' AI 모델이 더 우수하다고 주장합니다. 반면에 '블랙박스' 모델은 알고리즘의 데이터에 의해 직접 구동되기 때문에 특정 상황(예: 이미지 처리)에서 설명 가능한 모델보다 더 정확하다고 주장하는 모델도 있습니다. 이 이론에 따르면 블랙박스 모델이 더 효율적이라고 합니다.

흰색 대 검은색

머신러닝에 사용되는 블랙박스 모델은 알고리즘에 의해 데이터에서 직접 생성되므로, 설계자를 포함한 그 누구도 이러한 변수가 어떻게 결합되어 예측을 생성하는지 이해할 수 없습니다. 블랙박스 예측 모델은 변수의 함수가 매우 복잡하여 입력 변수 목록이 있더라도 최종 예측에 도달하기 위해 변수가 서로 어떻게 연관되는지 인간이 이해할 수 없습니다. 이와는 대조적으로 화이트박스 AI에서는 변수 간의 관계가 더 명확할 수 있으며, 더 나아가 AI가 최종 예측을 내리는 방식도 더 명확할 수 있습니다. 변수에 가중치를 부여하고 합산하는 선형 모델이나 간단한 논리적 진술은 소수의 변수만 결합할 수 있습니다. 

얼마나 많은 통제권을 포기할 준비가 되었나요?

FICO가 후원한 머신 러닝 챌린지는 블랙박스 모델보다 설명 가능한 모델을 사용할 때의 장점과 단점에 대해 토론하는 사례 연구로 진행되었습니다. 금융, 로봇 공학, 머신 러닝 분야의 영향력 있는 인사들로 구성된 청중은 암에 걸려 종양 제거 수술을 받아야 하는 두 가지 시나리오를 고려해야 했습니다. 청중은 두 가지 옵션 중에서 선택할 수 있었습니다. 첫 번째는 수술의 모든 측면을 설명할 수 있지만 환자를 사망에 이르게 할 확률이 15%인 인간 외과의사였습니다. 다른 대안은 실패 확률이 2%에 불과한 로봇 팔이었습니다. 이 로봇은 블랙박스 모델로 설계되었기 때문에 설명하는 방식으로 많은 일을 할 수 없었습니다. 이 경우 로봇에 대한 전적인 신뢰가 필요했으며, 로봇에게 질문을 할 수도 없고 로봇이 어떤 결정을 내리는지에 대한 자세한 설명도 할 수 없었습니다. 그런 다음 청중에게 손을 들어 어떤 외과의가 생명을 구하는 수술을 수행해야 한다고 생각하는지 표시하도록 지시했습니다. 

 

한 손을 제외한 모든 손이 로봇을 지지했습니다.

 

사망 확률이 15%인 것보다 2%인 것이 더 낫다는 것이 당연해 보일 수 있지만, 이러한 방식으로 AI 시스템과 관련된 위험을 파악하면 몇 가지 중요하고 흥미로운 질문이 제기됩니다. 로봇이 블랙박스가 되어야 하는 이유는 무엇인가요? 로봇이 스스로 설명할 수 있다면 정밀한 수술을 수행할 수 있는 능력을 잃게 될까요? 로봇과 환자 간의 의사소통이 원활해지면 환자 치료가 악화되기보다는 오히려 개선되지 않을까요?

 

일부 연구에 따르면, 블랙박스 모델은 이해하기 어려운 특성으로 인해 잠재적으로 해로울 수 있는 광범위한 오류를 숨길 수 있기 때문에 많은 의료 영역이나 누군가의 삶을 바꿀 수 있는 결정을 내리는 기타 고위험 머신러닝 애플리케이션에서 실제로 더 정확하지 않은 것으로 나타났습니다.

 

한편, 블랙박스 AI는 일반적으로 너무 복잡해서 대부분의 사람들이 쉽게 이해할 수 없지만, 데이터 세트를 기반으로 인사이트를 생성하기 위해 다양한 애플리케이션에서 널리 사용되고 있습니다. 안타깝게도 블랙박스 AI의 인기로 인해 동일한 작업에 대해 매우 간단하게 해석할 수 있는 모델이 이미 존재함에도 불구하고, 기업들은 중요한 의사 결정을 위해 복잡하거나 독점적인 모델을 마케팅할 수 있게 되었습니다.

 

이로 인해 이러한 모델을 개발하는 기업은 장기적인 효과를 고려하지 않고 시장의 일부를 개척할 수 있게 되었습니다. 블랙박스 모델을 선호하는 것의 장단점을 고려한 사례 연구인 2018 설명 가능한 머신 러닝 챌린지에서 블랙박스 모델 개발자들의 주장, 즉 불투명성이 기계의 정확성을 위한 전제 조건이라는 주장이 지금까지 거의 도전받지 않고 있다는 것이 관찰되었습니다.

투명성을 위한 기회 제공

머신 러닝에 대한 두 가지 접근 방식에 대한 논쟁은 그 결과가 향후 금융, 의료, 형사 사법 시스템의 발전 방식에 막대한 영향을 미칠 가능성이 높기 때문에 중요한 의미를 갖습니다. 이러한 상황을 고려할 때, 개발자는 동일한 수준의 정확도를 달성할 수 있는 설명 가능한 모델을 만들 수 없는 경우에만 블랙박스 머신러닝 모델을 두 번째 옵션으로 고려한다는 규칙에 동의해야 할 것입니다. 결국, 고장 난 것이 아니라면 왜 고칠 필요가 있을까요?