설명가능한 인공지능(XAI) 관련 설명(1)

최근 설명가능한 인공지능에 대한 관심이 크다. 아래 논문은 이를 정리한 논문으로 설명가능한 인공지능이 필요한 이유에서 종류와 특징까지 집대성하여 정리하였다. 

 

Arrieta, A. B., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., ... & Herrera, F. (2020). Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information fusion, 58, 82-115.

 

페이퍼의 길이가 너무 길어 다섯 번으로 나누어 연재하였다. 

 

XAI 관련 설명(2) 

XAI 관련 설명(3) 

XAI 관련 설명(4)

XAI 관련 설명(5)

 

 

 

Abstract

지난 몇 년 동안 인공 지능 (AI)은 적절하게 활용하면 현장 전역의 많은 응용 프로그램 부문에 비해 최상의 기대를 제공 할 수있는 주목할만한 추진력을 달성했습니다. 이것이 곧 머신 러닝이 발생하기 위해서는 전체 커뮤니티가 설명의 장벽 앞에 서 있습니다. 마지막 과대 광고에 존재하지 않은 하위 상징주의 (예 : 앙상블 또는 깊은 신경 네트워크)가 가져온 최신 기술의 고유 한 문제입니다. AI (즉, 전문가 시스템 및 규칙 기반 모델). 이 문제의 기본 패러다임은 소위 설명 가능한 AI (XAI) 필드에 속하며, 이는 AI 모델의 실제 배치를위한 중요한 기능으로 널리 알려져 있습니다. 이 기사에서 제시된 개요는 이미 현장에서 완료되었으며, 아직 도달하지 않은 것에 대한 전망을 포함하여 XAI의 기존 문헌과 기여를 조사합니다. 이를 위해 우리는 기계 학습의 설명 성을 정의하기위한 이전의 노력을 요약하고, 설명 할 수있는 사전 개념 제안을 다루는 설명 가능한 기계 학습의 새로운 정의를 확립합니다. 이 정의에서 벗어나, 우리는 두 번째 전용 분류법이 구축되고 목표로 된 세부 사항을 설명하는 딥 러닝 방법을 설명하는 것을 포함하여 다양한 기계 학습 모델의 설명과 관련된 최근 기여의 분류법에 대해 제안하고 논의합니다. 흥미로운 분석과 같은이 중요한 문헌은 Xai, 교차로의 데이터 융합 및 설명에 직면 한 일련의 도전에 대한 동기 부여 배경 역할을합니다. 우리의 전망은 책임있는 인공 지능의 개념, 즉 공정성, 모델 설명 및 책임을 가진 실제 조직에서 AI 방법을 대규모로 구현하는 방법론을 이끌고 있습니다. 우리의 궁극적 인 목표는 미래의 연구 발전을 자극하기 위해 참조 자료로 사용될 수있는 철저한 분류법을 XAI 분야에 새로 제공하는 것입니다. 또한 다른 분야의 전문가와 전문가가 활동 부문에서 AI의 이점을 받아들이도록 장려하는 것입니다. 해석 가능성 부족에 대한 사전 편견없이.

 

1. Introduction

인공 지능 (AI)은 새로운 정보 기술을 수용 한 많은 활동 부문의 핵심에 있습니다 [1]. AI의 뿌리는 수십 년 전으로 거슬러 올라가는 반면, 오늘날 학습, 추론 및 적응 기능이 부여 된 지능형 기계에 의해 등장하는 가장 중요한 중요성에 대한 명확한 합의가 있습니다. AI 방법이 점점 더 복잡한 계산 작업을 해결하는 법을 배울 때 AI 방법이 전례없는 수준의 성능을 달성하여 인간 사회의 미래 발전에 중추적 인 것은 이러한 기능으로 인해 전례없는 수준의 성능을 달성하는 것이 이러한 기능으로 인해 [2]. AI 기반 시스템의 정교함은 최근에 설계 및 배치에 거의 인간의 개입이 필요하지 않을 정도로 최근에 증가했습니다. 그러한 시스템에서 파생 된 결정이 궁극적으로 인간의 삶에 영향을 미치는 경우 (예 : 의학, 법률 또는 방어에서와 같이) AI 방법에 의해 그러한 결정이 어떻게 제공되는지 이해해야 할 필요가 있습니다 [3].

최초의 AI 시스템은 쉽게 해석 할 수 있었지만 지난 몇 년 동안 DNN (Deep Neural Networks)과 같은 불투명 한 의사 결정 시스템의 증가가 목격되었습니다. DNN과 같은 딥 러닝 (DL) 모델의 경험적 성공은 효율적인 학습 알고리즘과 거대한 매개 변수 공간의 조합에서 비롯됩니다. 후자의 공간은 수백 개의 층과 수백만 개의 매개 변수로 구성되어 DNN을 복잡한 블랙 박스 모델로 간주합니다 [4]. 블랙 박스의 반대는 투명성, 즉 모델이 작동하는 메커니즘에 대한 직접적인 이해를 찾는 것입니다 [5]. 중요한 맥락에서 중요한 예측을 위해 블랙 박스 머신 러닝 (ML) 모델이 점점 더 많이 사용됨에 따라 AI의 다양한 이해 관계자로부터 투명성에 대한 수요가 증가하고 있습니다 [6]. 위험은 정당화 할 수 없거나 합법적이거나 단순히 그들의 행동에 대한 자세한 설명을 얻을 수없는 결정을 창출하고 사용하는 것입니다 [7]. 모델의 출력을 뒷받침하는 설명은 예를 들어, 정밀 의학에서 전문가가 진단을 지원하기위한 간단한 이진 예측보다 모델에서 훨씬 더 많은 정보를 필요로하는 정밀 의학에서 중요합니다 [8]. 다른 예로는 운송, 보안 및 금융 분야의 자율 주행 차가 있습니다. 일반적으로 인간은 윤리적 AI에 대한 수요가 증가함에 따라 직접 해석 할 수없고, 다루기 쉬우 며 신뢰할 수없는 기술을 채택하기 위해 회복됩니다 [9]. 성능에만 초점을 맞추면 시스템이 점점 더 불투명해질 것이라고 생각하는 것이 일반적입니다. 이것은 모델의 성능과 투명성 사이에 상충 관계가 있다는 의미에서 사실입니다 [10]. 그러나 시스템 이해가 개선되면 결함이 보정 될 수 있습니다. ML 모델을 개발할 때 추가 설계 드라이버로서 해석 가능성을 고려하면 3 가지 이유로 구현 성을 향상시킬 수 있습니다.

• 해석 성은 의사 결정의 공평성, 즉 교육 데이터 세트의 편견을 감지하고 수정하는 데 도움이됩니다.

• 해석 가능성은 예측을 바꿀 수있는 잠재적 대적 섭동을 강조함으로써 견고성의 제공을 용이하게합니다.

• 해석 가능성은 의미있는 변수만이 생산량을 유추하는 보험 역할을 할 수 있습니다. 즉, 모델 추론에 근본적인 진실한 인과 관계가 존재하도록 보장합니다.

이 모든 것은 시스템의 해석이 실용적으로 간주되기 위해 모델 메커니즘과 예측에 대한 이해, 모델의 차별 규칙의 시각화 또는 모델을 교란시킬 수있는 것에 대한 힌트를 제공해야한다는 것을 의미합니다 [11].

현재 세대의 AI 시스템의 효과를 제한하지 않기 위해 설명 가능한 AI (XAI) [7] [7]은 높은 수준의 학습 성능 (예 : 예측 정확도)을 유지하면서 더 설명 가능한 모델을 생성하는 ML 기술 제품군을 만드는 것을 제안합니다. ), 그리고 2) 인간은 신흥 세대의 인공 지능 파트너를 이해하고, 적절하게 신뢰하며, 효과적으로 관리 할 수있게한다.

Xai는 사회 과학 [12]의 통찰력을 이끌어 내고 설명의 심리학을 고려합니다.

그림 1은 XAI 및 관련 개념에 대한 기여 추세를 보여줍니다. 이 문헌 발발은 이론적 근거를 국가 정부 및 기관의 연구 의제와 공유합니다. 최근의 일부 설문 조사 [8,10,13–17]는 부문과 분야의 Xai의 활동의 상승을 요약하지만,이 개요는 현장에 대한 조사 및 이해를 허용하는 완전한 통합 카테고리 및 개념의 생성을 다루는 것을 목표로합니다. Xai 방법의. 또한, 우리는 데이터 개인 정보 및 모델 기밀성과 관련하여 데이터 융합 컨텍스트에서 AI 모델의 설명에 대한 흥미로운 생각을 제시합니다. 이것은 우리의 연구 전반에 걸쳐 식별 된 다른 연구 기회 및 과제와 함께 책임있는 인공 지능에 대한 풀 요소, 즉 실제 응용 프로그램에 AI를 배치 할 때 반드시 충족 될 일련의 AI 원칙을 언급하는 용어로 작용합니다. 나중에 자세히 보여 주듯이, 모델 설명은이 방법 론적 프레임 워크 내에서 보장하는 가장 중요한 측면 중 하나입니다. 대체로이 개요의 새로운 기여는 다음과 같이 요약 될 수 있습니다.

 

1. XAI 관련 연구에 사용 된 개념과 용어의 첫 번째 정교함에 근거하여, 우리는 ML 모델을 설명 할 때 청중 (그림 2)을 고려해야 할 핵심 측면으로 배치하는 설명에 대한 새로운 정의를 제안합니다. 우리는 또한 신뢰성에서 개인 정보 보호 인식에 이르기까지 XAI 기술을 사용할 때 추구 한 다양한 목적에 대해 자세히 설명하며, 이는 모델 설명에서 목적의 중요성과 대상 청중을 정리했습니다.

2. 우리는 ML 모델이 그 자체로 특징 지어 질 수있는 다양한 수준의 투명성과 사후 설명 가능성에 대한 다양한 접근, 즉 설계에 의해 투명하지 않은 ML 모델의 설명을 정의하고 조사합니다.

3. 우리는 XAI 및 현재까지 출판 된 관련 개념에 대한 문헌을 철저히 분석하여 두 가지 다른 분류 체계로 배치 된 약 400 개의 기여를 다루고 있습니다. 첫 번째 분류는 그 자체로 투명하고 깊고 깊은 (즉, 얕은) 학습 모델을 포함하여 투명성과 사후 설명 성을 구별하는 이전에 만들어진 ML 모델의 설명 가능성을 다룹니다. 두 번째 분류는이 ML 방법 (예 : 계층별 설명, 표현 벡터,주의)과 밀접하게 연결된 분류 기준을 사용하여 딥 러닝 모델의 설명에 적합한 XAI 방법을 다룹니다.

4. 우리는 여전히 현재까지 불충분하게 해결 된 XAI의 일련의 도전을 열거합니다. 구체적으로, 우리는 ML 모델의 설명 가능성을 평가하기 위해 개념과 지표에 대한 연구 요구를 식별하고, 딥 러닝 모델을보다 이해할 수 있도록하는 연구 방향을 간략하게 설명합니다. 우리는 기밀성, 대적 설정의 견고성, 데이터 다양성 및 설명 가능성과 교차하는 기타 영역과 관련하여 XAI 기술의 의미에 대한 전망의 범위를 강화합니다.

5. 이전의 전향 적 논의 후, 우리는 AI 모델이 실질적으로 사용되기 위해 여러 AI 원칙의 체계적인 채택을 부과하는 매니 폴드 개념 인 책임있는 인공 지능의 개념에 도달합니다. 설명 가능성 외에도 책임있는 AI의 지침은 실제 환경에서 AI 모델을 구현할 때 공정성, 책임 및 개인 정보를 고려해야한다는 것을 확립합니다.

6. 책임있는 AI는 설계 별 모델 설명 및 개인 정보 보호/보안을 함께 혼합하기 때문에 민감한 정보 및/또는 기밀 ML 모델을 다루는 시나리오에서 XAI 기술의 이점과 위험에 대한 심오한 반영을 요구합니다. 나중에 알 수 있듯이 데이터 개인 정보 보호, 품질, 무결성 및 거버넌스에 대한 규제 추진은이 분야에서 XAI의 역할을 평가하기 위해 더 많은 노력을 요구합니다. 이와 관련하여, 우리는 다른 데이터 융합 패러다임에서 개인 정보 보호 및 보안 측면에서 XAI의 의미에 대한 통찰력을 제공합니다.

이 개요의 나머지 부분은 다음과 같이 구성됩니다. 첫째, 섹션 2 및 그 하위 섹션에서 AI의 설명 및 해석 가능성을 중심으로하는 용어와 개념에 대한 토론을 열어 앞에서 언급 한 새로운 해석 성 정의 (섹션 2.1 및 2.2)로 끝납니다. XAI 관점에서 ML 모델을 분류하고 분석하는 일반적인 기준. 섹션 3과 4는 ML 모델에 대한 XAI (각각 투명 모델 및 사후 기술에 대한)에 대한 최근의 결과를 앞서 언급 한 분류의 주요 분할을 검토하여 진행합니다. 또한 XAI를 얻기 위해 두 가지 중 하이브리드 접근법에 대한 검토도 포함되어 있습니다. 방법의 가족들 사이의 시너지 효과의 혜택과 경고는 섹션 5에서 논의되며, 여기서 우리는 일반적인 도전에 대한 전망과 신중한 결과를 제시합니다. 마지막으로, 섹션 6은 책임있는 인공 지능의 개념에 대해 자세히 설명합니다. 섹션 7 은이 활기찬 연구 영역을 중심으로 지역 사회를 참여시키는 것을 목표로 한 전망을 통해 설문 조사를 마치며, 이는 사회, 특히 ML을 그들의 활동의 핵심 기술로 점진적으로 수용 한 부문에 영향을 줄 수있는 잠재력을 가지고 있습니다.

 

2. Explainability: What, why, what for and how?

우리의 문헌 연구를 진행하기 전에, AI, 특히 ML의 맥락에서 설명이 무엇을 의미하는지에 대한 일반적인 이해 시점을 먼저 확립하는 것이 편리합니다. 이것은 실제로이 섹션의 목적, 즉이 개념과 관련하여 수행 된 수많은 정의를 일시 중지하는 것 (무엇?) AI와 ML의 중요한 문제 (왜? 왜?) 그리고 그 후 문학 연구를 주도 할 Xai 접근법의 일반적인 분류를 소개하기 위해 (어떻게?).

 

2.1. Terminology clarification

공통 근거의 확립을 방해하는 문제 중 하나는 문헌에서 해석 가능성과 설명에 대한 상호 교환 가능한 오용이다. 이 개념들 사이에는 눈에 띄는 차이가 있습니다. 우선 해석 성은 주어진 모델이 인간 관찰자에게 의미가있는 수준을 나타내는 모델의 수동적 특성을 나타냅니다. 이 기능은 또한 투명성으로 표현됩니다. 대조적으로, 설명 가능성은 모델의 능동적 특성으로 볼 수 있으며, 내부 기능을 명확하게하거나 상세하게하려는 모델에 의해 취해진 모든 조치 또는 절차를 나타냅니다. 가장 일반적으로 사용되는 명명법을 요약하기 위해,이 섹션에서는 윤리적 AI 및 XAI 커뮤니티에서 자주 사용되는 용어들 사이의 구별과 유사성을 명확히합니다.

• 이해성 (또는 동등한 명료성)은 모델이 내부 구조 또는 모델이 데이터를 내부적으로 처리하는 알고리즘 수단을 설명 할 필요없이 인간이 기능을 이해하도록하는 모델의 특성을 나타냅니다 [18].

• 이해력 : ML 모델에 대해 생각할 때, 이해력은 학습 알고리즘이 학습 된 지식을 인간의 이해할 수있는 방식으로 나타내는 능력을 말합니다 [19–21]. 이 모델의 이해력 개념은 Michalski의 가정에서 비롯된다 [22].“컴퓨터 유도의 결과는 인간 전문가와 동일한 엔티티를 관찰하는 것을 생성 할 수있는 의미 적으로 그리고 구조적으로 주어진 개체의 상징적 설명이어야한다. 이러한 설명의 구성 요소는 자연어로 직접 해석 할 수있는 단일 '청크'정보로 이해할 수 있어야하며 정량적 및 질적 개념을 통합 된 방식으로 관련시켜야합니다.” 어려운 정량화를 고려할 때, 이해력은 일반적으로 모델 복잡성의 평가와 관련이 있습니다 [17].

• 해석 성 : 이해할 수있는 용어로 의미를 설명하거나 인간에게 제공하는 능력으로 정의됩니다.

• 설명 : 설명은 인간과 의사 결정자 사이의 인터페이스로서의 설명의 개념과 관련이 있으며 동시에 의사 결정자의 정확한 프록시와 인간이 이해할 수 있습니다 [17].

• 투명성 : 모델은 그 자체로 이해할 수있는 경우 투명한 것으로 간주됩니다. 모델은 다른 이해력을 특징으로 할 수 있기 때문에 섹션 3의 투명한 모델은 시뮬레이션 가능한 모델, 분해 가능한 모델 및 알고리즘 적으로 투명한 모델의 세 가지 범주로 나뉩니다 [5].

위의 모든 정의에서 이해력은 Xai에서 가장 필수적인 개념으로 나타납니다. 투명성과 상호 운용성은 모두이 개념과 밀접한 관련이 있습니다. 투명성은 모델의 특성을 자체적으로 이해할 수있는 모델의 특성을 말하지만 이해력은 인간이 모델에 의해 결정된 결정을 이해할 수있는 정도를 측정합니다. 이해력은 또한 모델에 포함 된 지식을 이해할 수있는 관객의 능력에 의존한다는 점에서 이해 가능성과 관련이 있습니다. 대체로 이해력은 모델 이해 가능성과 인간의 이해성과 같은 양측 문제입니다. 이것이 섹션 2.2에 주어진 XAI의 정의가 청중의 개념을 말하는 이유입니다. . 이해력에 의해 취해진이 두드러진 역할은 청중의 개념을 Xai의 초석으로 만듭니다.

 

2.2. What?

이 논문의 범위를 벗어난 것으로 간주 될 수 있지만, 철학 영역에서 일반적인 설명 이론에 관한 논의를 주목할 가치가있다 [23]. 이와 관련하여 많은 제안이 이루어졌으며, 이는 설명의 구조와 의도에 근사한 일반적인 통일 된 이론의 필요성을 시사한다. 그러나 그러한 일반적인 이론을 제시 할 때 아무도 비판을받지 못했습니다. 당분간, 가장 합의 된 생각은 다양한 지식 분야에서 도출 된 설명과 다른 접근법을 함께 혼합합니다. AI의 해석 가능성을 해결할 때도 비슷한 문제가 발견됩니다. 문헌에서 해석 가능성이나 설명이 무엇인지에 대한 공통적 인 이해 시점이없는 것으로 보입니다. 그러나 많은 기여는 해석 가능한 모델과 설명을 강화하는 기술의 달성을 주장합니다.

이러한 합의 부족에 대해 약간의 빛을 비추는 것은 [7]에서 D. Gunning이 제공 한 설명 가능한 인공 지능 (XAI)의 용어에 대한 참조 시작점을 배치하는 것이 흥미로울 수 있습니다.

 

"XAI는 인간 사용자가 신흥 인공 지능 파트너를 이해하고, 적절하게 신뢰하며, 효과적으로 관리 할 수있는 다양한 기계 학습 기술을 만들 것입니다."

 

이 정의는 미리 해결 해야하는 두 가지 개념 (이해와 신뢰)을 하나로 모았습니다. 그러나 인과 관계, 양도 가능성, 정보 성, 공정성 및 자신감과 같은 해석 가능한 AI 모델의 필요성을 동기를 부여하는 다른 목적을 고려하는 것은 그리워요 [5,24–26]. 우리는 나중에이 주제들을 조사하여 위의 정의의 불완전성에 대한지지 예로 여기에 언급 할 것입니다.

위의 정의에 의해 예시 된 바와 같이, AI의 설명 가능성에 대한 철저하고 완전한 정의는 여전히 손가락에서 미끄러집니다. 이 정의에 대한 더 넓은 개혁 (예 :“설명 가능한 인공 지능은 그 기능에 대한 설명을 만들어내는 것”)은 해당 용어를 완전히 특성화하지 못해서 그 목적과 같은 중요한 측면을 제외하고. 완전성을 기반으로하기 위해서는 먼저 설명의 정의가 필요합니다.

영어의 케임브리지 사전에서 추출한 바와 같이, 설명은“누군가가 명확하거나 이해하기 쉬운 것을 만들기 위해주는 세부 사항이나 이유”입니다 [27]. ML 모델의 맥락에서 이것은 다음과 같이 다시 제작할 수 있습니다. 이 시점에서 의견이 분기되기 시작합니다. 본질적으로 이전 정의에서 비롯된 경우, 두 가지 모호성을 지적 할 수 있습니다. 첫째, 설명에 사용 된 세부 사항이나 이유는 그들이 제시된 청중에게 완전히 의존합니다. 둘째, 설명이 개념을 명확하게 이해하기 쉬운 지 여부는 청중에 전적으로 달려 있습니다. 따라서 정의는 청중에 대한 모델의 설명의 의존성을 명시 적으로 반영하기 위해 다시 제작되어야합니다. 이를 위해 재 작업 된 정의는 다음과 같이 읽을 수 있습니다.

 

특정 청중이 주어지면 설명은 모델이 기능을 명확하거나 이해하기 쉽게 만드는 세부 사항과 이유를 나타냅니다.

 

논쟁으로 설명하는 것은 (카운터) 논쟁의 논리 기반 공식화로 가중치, 비교 또는 설득을 포함 할 수 있기 때문에 [28] 설명 가능성은 우리를인지 심리학의 영역과 설명의 심리학 [7]으로 전달할 수 있습니다. 무언가를 이해했는지 명확하게 이해했는지 여부는 객관적으로 측정하기 어려운 작업입니다. 그러나 모델의 내부를 객관적으로 해결할 수있는 정도를 측정 할 수 있습니다. 모델의 복잡성을 줄이거 나 출력을 단순화하기위한 모든 수단은 XAI 접근법으로 간주되어야합니다. 이 도약이 복잡성 또는 단순성 측면에서 얼마나 큰지는 결과 모델이 얼마나 설명 할 수 있는지에 해당합니다. 미해결이 남아있는 근본적인 문제는 이러한 XAI 접근법에 의해 제공되는 해석 성 이득이 정량화하기에 간단하지 않을 수 있다는 것입니다. 예를 들어, 모델 단순화는 아키텍처 요소의 수 또는 모델 자체의 매개 변수 수의 감소에 따라 평가 될 수 있습니다. (예를 들어 DNN의 경우 자주 만들어졌습니다). 반대로, 동일한 목적으로 시각화 방법 또는 자연 언어를 사용하는 것은 해석 가능성 측면에서 얻은 개선의 명확한 정량화를 선호하지 않습니다. XAI 접근법의 품질을 평가하기위한 일반적인 지표의 파생은 앞으로 몇 년 동안 분야의 주목을받는 열린 도전으로 남아 있습니다. 우리는 섹션 5 에서이 연구 방향에 대해 더 논의 할 것입니다.

설명 가능성은 사후 설명 가능성과 관련이 있습니다. 비 인터뷰 불가능한 모델을 설명 할 수없는 모델로 변환하는 데 사용되는 기술을 다루기 때문입니다. 이 원고의 나머지 부분에서 설명은 더 넓은 개념을 나타내기 때문에 주요 설계 목표로 간주 될 것입니다. 모델을 설명 할 수 있지만 모델의 해석 가능성은 모델 자체의 설계에서 나오는 것입니다. 이러한 관찰을 염두에두고 설명 가능한 AI는 다음과 같이 정의 할 수 있습니다.

 

청중이 주어지면 설명 가능한 인공 지능은 기능을 명확하거나 이해하기 쉽게 만드는 세부 사항이나 이유를 제작하는 것입니다.

 

이 정의는 여기에서 현재 개요의 첫 번째 기여로 제기되며, 손에 든 모델에 대한 XAI 기술에 의해 목표가되는 이해력과 명확성은 청중의 모델 출력의 더 나은 신뢰성과 같은 다양한 응용 프로그램 목적으로 되돌아갑니다.

 

 

2.3. Why?

소개에서 언급 한 바와 같이, 설명 가능성은 오늘날 AI가 실제 구현과 관련하여 직면하고있는 주요 장벽 중 하나입니다. ART ML 알고리즘의 상태가 잘 수행되는 이유를 설명하거나 완전히 이해할 수 없다는 것은 그림 2에 개념적으로 설명 된 두 가지 원인으로 뿌리를 찾는 문제입니다.

의심 할 여지없이, 첫 번째 원인은 연구 커뮤니티와 비즈니스 부문 사이의 격차로, 은행, 재무, 보안 및 은행, 재무, 보안 및 과정의 디지털 혁신에 전통적으로 뒤쳐진 부문에서 최신 ML 모델의 전체 침투를 방해합니다. 많은 사람들 중에서도 건강. 일반적 으로이 문제는 엄격하게 규제 된 부문에서 발생하여 자산을 위험에 빠뜨릴 수있는 기술을 구현하기를 꺼려합니다.

두 번째 축은 지식의 축입니다. AI는 인간의인지 적 범위를 훨씬 뛰어 넘는 관계를 추론하는 일로 전 세계의 연구를 도왔습니다. 엄청난 양의 신뢰할 수있는 데이터를 다루는 모든 분야는 AI 및 ML 기술의 채택으로 크게 혜택을 받았습니다. 그러나 우리는 결과와 성능 지표가 연구 연구에 나오는 유일한 관심사 인 시대에 들어갑니다. 특정 분야의 경우 공정한 사례일지도 모르지만 과학과 사회는 성과에 대한 관심과는 거리가 멀다. 이해를위한 검색은 추가 모델 개선과 실용적인 유용성을위한 문을 열어줍니다.

다음 섹션에서는 설명 가능한 AI 모델에 대한 검색에 동기를 부여하는 목표를 분석하여 이러한 아이디어를 더욱 발전시킵니다.

 

2.4. What for?

Xai 주변의 연구 활동은 지금까지 설명 가능한 모델의 성취에서 다른 목표를 노출시켰다. 검토 된 논문 중 어느 것도 설명 할 수있는 모델이 무엇을 강요 해야하는지 결정하는 데 필요한 목표에 완전히 동의하지 않습니다. 그러나 이러한 모든 다른 목표는 주어진 ML 설명이 수행되는 목적을 구별하는 데 도움이 될 수 있습니다. 불행히도, 희소 한 개념은 개념적 특성에서 그러한 목표를 정의하려고 시도했다 [5,13,24,30]. 우리는 이제 이러한 XAI 목표에 대한 정의를 종합하고 열거 하여이 검토에서 다루는 논문의 전체 소송에 대한 첫 번째 분류 기준을 해결합니다.

• 신뢰성 : 몇몇 저자는 설명 가능한 AI 모델의 주요 목표로서 신뢰성을 찾는 데 동의합니다 [31,32]. 그러나 신뢰를 수용하는 능력에 따라 설명 가능한 모델을 선언하는 것은 모델 설명 가능성의 요구 사항을 완전히 준수하지 않을 수 있습니다. 신뢰성은 모델이 주어진 문제에 직면 할 때 의도 된대로 행동할지 여부에 대한 신뢰로 간주 될 수 있습니다. 비록 그것이 설명 가능한 모델의 속성이어야하지만, 모든 신뢰할 수있는 모델이 그 자체로 설명 할 수 없으며, 신뢰할 수있는 속성은 재산을 정량화하기 쉬운 것으로 간주 할 수 없다는 것을 암시하지는 않습니다. 합의 된 경우 두 사람의 관계가 상호 적이 아니기 때문에 신뢰는 설명 가능한 모델의 유일한 목적이 아닐 수도 있습니다. 다시 볼 수있는 논문의 일부는 설명 가능성을 달성하기 위해 자신의 개념을 언급 할 때 신뢰의 개념을 언급합니다. 그러나 표 1에서 볼 수 있듯이 XAI와 관련된 최근 기여금의 많은 부분에 해당하지 않습니다.

• 인과 관계 : 설명에 대한 또 다른 공통 목표는 데이터 변수 간의 인과 관계를 찾는 것입니다. 몇몇 저자들은 설명 가능한 모델이 관련 변수 사이의 더 강력한 인과 관계에 대해 더 많은 인과 관계에 대해 더 시험 될 수있는 관계를 찾는 과제를 완화 할 수 있다고 주장한다 [159,160]. 관측 데이터에서 인과 관계의 추론은 시간이 지남에 따라 광범위하게 연구 된 분야이다 [161]. 이 주제에 대한 지역 사회가 널리 인정받은 인과성은 관찰 된 효과가 인과 적이라는 것을 증명하기 위해 광범위한 사전 지식을 요구합니다. ML 모델은 학습 한 데이터 간의 상관 관계만을 발견하므로 원인-효과 관계를 공개하기에 충분하지 않을 수 있습니다. 그러나 인과 관계에는 상관 관계가 포함되므로 설명 가능한 ML 모델은 인과성 추론 기술로 제공된 결과를 검증하거나 이용 가능한 데이터 내에서 가능한 인과 관계의 첫 직관을 제공 할 수 있습니다. 다시, 표 1은 인과 관계가 우리가 그들의 목표로 명시 적으로 명시한 논문의 양에 참석한다면 인과성이 가장 중요한 목표 중 하나가 아니라는 것을 보여줍니다.

• 전송 가능성 : 모델은 항상 원활한 전송 가능성을 허용하는 제약 조건에 의해 결합됩니다. 이것이 ML 문제를 다룰 때 훈련 테스트 접근법이 사용되는 주요 이유입니다 [162,163]. 설명 가능성은 또한 전송 능력에 대한 옹호자입니다. 모델에 영향을 줄 수있는 경계를 설명하는 작업이 완화되어 이해와 결정을 더 잘 할 수 있기 때문입니다. 마찬가지로, 모델 내에서 발생하는 내부 관계에 대한 단순한 이해는 사용자가 다른 문제 에서이 지식을 재사용 할 수있는 능력을 촉진합니다. 모델에 대한 적절한 이해가 부족하면 사용자가 잘못된 가정과 치명적인 결과를 초래할 수있는 경우가 있습니다 [44,164]. 전송 가능성은 또한 설명 가능한 모델의 결과 특성 사이에 떨어져 있어야하지만, 모든 전송 가능한 모델이 설명 가능한 것으로 간주되어서는 안됩니다. 표 1에서 관찰 된 바와 같이, 설명 가능한 모델을 렌더링하는 능력은 재사용 개념을 더 잘 이해하거나 성능을 향상시키는 데 필요한 개념을 더 잘 이해하는 것이 모델 설명을 추구하는 두 번째로 사용되는 두 번째 이유입니다.

• 정보성 : ML 모델은 의사 결정을 지원하려는 궁극적 인 의도로 사용됩니다 [92]. 그러나 모델에 의해 해결되는 문제가 인간의 상대방이 직면 한 것과 같지 않다는 것을 잊어서는 안됩니다. 따라서 사용자의 결정을 모델이 제공 한 솔루션과 관련시키고 오해 함정에 빠지지 않으려면 많은 정보가 필요합니다. 이를 위해 설명 가능한 ML 모델은 해결중인 문제에 대한 정보를 제공해야합니다. 검토 된 논문들 사이에서 발견 된 대부분의 이유는 모델의 내부 관계에 대한 정보를 추출 한 이유입니다. 거의 모든 규칙 추출 기술은 모델이 내부적으로하는 일을 더 간단하게 이해하기위한 접근 방식을 입증하며, 지식 (정보)이 선행을 설명하는 이러한 간단한 프록시에서 표현 될 수 있다고 진술합니다. 이것은 설명 가능한 모델에 도달함으로써 그들이 기대하는 것을 백업하기 위해 검토 된 논문들 사이에서 발견 된 가장 많이 사용되는 주장입니다.

• 신뢰 : 견고성과 안정성의 일반화로서, 신뢰성이 예상되는 모델에서 항상 신뢰도를 평가해야합니다. 통제하에 신뢰를 유지하는 방법은 모델에 따라 다릅니다. [165–167]에 명시된 바와 같이, 안정성은 특정 모델에서 해석을 그릴 때 필수입니다. 신뢰할 수있는 해석은 안정적이지 않은 모델에 의해 생성되어서는 안됩니다. 따라서 설명 가능한 모델에는 작업 체제의 신뢰에 대한 정보가 포함되어야합니다.

• 공정성 : 사회적 관점에서 설명 할 수있는 것은 ML 모델의 공정성에 도달하고 공정성을 보장 할 수있는 능력으로 간주 될 수 있습니다. 특정 문헌 가닥에서 설명 가능한 ML 모델은 결과에 영향을 미치는 관계의 명확한 시각화를 제안하여 현재 모델의 공정성 또는 윤리적 분석을 허용합니다 [3,100]. 마찬가지로, XAI의 관련 목표는 모델이 [168,169]에 노출 된 데이터의 편향을 강조하고있다. 알고리즘과 모델의 지원은 인간의 삶과 관련된 분야에서 빠르게 성장하고 있기 때문에 설명 가능성은 알고리즘의 출력의 불공평하거나 비 윤리적 사용을 피하기위한 다리로 간주되어야합니다. • 접근성 : 검토 된 기부금의 사소한 하위 집합은 최종 사용자가 특정 ML 모델을 개선하고 개발하는 과정에 더 많이 관여 할 수있는 속성으로 설명 가능성을 주장합니다 [37,86]. 설명 가능한 모델은 첫눈에 이해할 수없는 알고리즘을 처리해야 할 때 비 기술적이거나 비 엑스 퍼트 사용자가 느끼는 부담을 완화시킬 것이라는 것이 분명해 보입니다. 이 개념은 추적 문헌 중에서 세 번째로 고려 된 목표로 표현된다.

• 상호 작용 : 일부 기여 [50,59]에는 설명 가능한 ML 모델을 대상으로 한 목표 중 하나로 모델이 사용자와 대화식 할 수있는 능력이 포함됩니다. 다시 한 번,이 목표는 최종 사용자가 매우 중요하게하는 필드와 관련이 있으며 모델과 조정하고 상호 작용하는 능력은 성공을 보장하는 것입니다.

• 개인 정보 보호 인식 : 검토 된 문헌에서 거의 잊혀진 ML 모델의 설명에 의해 가능해지는 부산물 중 하나는 개인 정보를 평가하는 능력입니다. ML 모델은 학습 된 패턴을 복잡하게 표현할 수 있습니다. 모델 [4]에 의해 포착 된 것을 이해할 수없고 내부 표현에 저장되면 개인 정보 보호 위반이 수반 될 수 있습니다. 반대로, 승인되지 않은 제 3 자에 의한 훈련 된 모델의 내부 관계를 설명하는 능력은 또한 데이터 원산지의 차등 프라이버시를 손상시킬 수 있습니다. XAI가 결정적인 역할을하는 부문의 중요성으로 인해 기밀성 및 개인 정보 보호 문제는 각각 5.4 절과 6.3 절에서 더욱 다루어 질 것입니다.

이 하위 섹션은 검토 된 논문의 광범위한 범위에서 발생한 목표를 검토했습니다. 이 모든 목표는이 섹션에서 이전에 도입 된 설명의 개념의 표면 아래에 있습니다. 설명 가능성 개념에 대한이 사전 분석을 마무리하기 위해 마지막 하위 섹션은 다양한 전략을 다루고 커뮤니티가 ML 모델의 설명을 해결합니다.

 

2.5. How?

문헌은 디자인에 의해 상호 작용할 수있는 모델과 외부 XAI 기술을 통해 설명 할 수있는 모델들 사이를 명확하게 구분합니다. 이 이원성은 또한 해석 가능한 모델과 모델 해석 성 기술의 차이로 간주 될 수 있습니다. 보다 널리 받아 들여지는 분류는 투명한 모델과 사후 설명 가능성입니다. 이 동일한 이원성은 [17]에 제시된 논문에도 나타나며, 저자가 작성한 구별은 블랙 박스 문제를 설명하는 문제에 대해 투명한 박스 설계 문제를 해결하는 방법을 지칭합니다. 이 작업은 고려 된 다양한 수준의 투명성을 포함하여 투명 모델 간의 구별을 더욱 확장합니다. 투명성 내에서는 알고리즘 투명성, 분해 성 및 시뮬레이션 성이라는 세 가지 수준이 고려됩니다. 사후 기술 중에서 우리는 텍스트 설명, 시각화, 로컬 설명, 예별 설명, 단순화에 의한 설명 및 기능 관련성을 구별 할 수 있습니다. 이러한 맥락에서, 입력에서 출력까지의 맵핑은 사용자가 보이지 않는다. 2) 사용자가 매핑을 수학적으로 분석 할 수있는 해석 가능한 시스템; 3) 모델이 기호 또는 규칙과 함께 특정 출력과 함께 기호 또는 규칙을 출력 해야하는 이해 가능한 시스템. 이 마지막 분류 기준은 이전에 제안 된 것 내에 포함 된 것으로 간주 될 수 있으므로이 백서는보다 구체적인 내용을 따를 것입니다.

 

2.5.1. Levels of transparency in machine learning models

투명한 모델은 어느 정도의 해석 성을 자체적으로 전달합니다. 이 범주에 속하는 모델은 또한 해석 가능한 도메인, 즉 알고리즘 투명성, 분해 성 및 시뮬레이션 성 측면에서 접근 할 수 있습니다. 그림 3과 관련하여 다음에 자세히 설명하면서, 이들 각 클래스는 전임자를 포함합니다 (예 : 시뮬레이션 가능한 모델은 동시에 분해 가능하고 알고리즘 적으로 투명한 모델입니다.

• 시뮬레이션 성은 인간에 의해 엄격하게 시뮬레이션되거나 생각되는 모델의 능력을 나타냅니다. 따라서 복잡성은이 클래스에서 지배적 인 위치를 차지합니다. 이것은 단순하지만 광범위한 (즉, 규칙이 너무 많음) 규칙 기반 시스템은이 특성에서 벗어나는 반면, 단일 Perceptron Neural Network는 내면에 속합니다. 이러한 측면은 희소 한 선형 모델이 조밀 한 모델보다 해석 가능하다는 주장과 일치하며 [170], 해석 가능한 모델은 텍스트와 시각화를 통해 인간에게 쉽게 제시 할 수있는 모델이라는 주장과 일치한다 [32]. 다시 말하지만, 시뮬레이션 성이있는 분해 가능한 모델을 부여하려면 모델이 인간이 전체적으로 생각하고 추론 할 수있을 정도로 모델이 자체 포함되어야합니다.

• 분해 성은 모델의 각 부분 (입력, 매개 변수 및 계산)을 설명하는 능력을 나타냅니다. 그것은 [171]에 명시된 바와 같이 명료성으로 간주 될 수있다. 이 특성은 모델의 행동을 이해, 해석 또는 설명하는 능력을 강화할 수 있습니다. 그러나 알고리즘 투명성으로 발생하는 것처럼 모든 모델 이이 속성을 충족시킬 수있는 것은 아닙니다. 분해성은 모든 입력을 쉽게 해석 할 수 있어야합니다 (예 : 번거로운 기능은 전제에 맞지 않습니다). 분해 가능성이되기위한 알고리즘으로 투명한 모델에 대한 추가 제약 조건은 모델의 모든 부분이 추가 도구없이 사람이 이해할 수 있어야한다는 것입니다.

• 알고리즘 투명성은 다양한 방식으로 볼 수 있습니다. 사용자가 프로세스를 이해하고 모델이 입력 데이터로부터 주어진 출력을 생성하는 기능을 다룹니다. 다르게 말하면, 선형 모델은 오류 표면을 이해하고 추론 할 수 있기 때문에 선형 모델은 투명한 것으로 간주되어 사용자가 모델이 직면 할 수있는 모든 상황에서 어떻게 행동 할 것인지에 대한 견딜 수 있습니다 [163]. 반대로, 손실 환경이 불투명 할 수 있기 때문에 깊은 아키텍처에서는 그것을 이해할 수 없으며 [172,173]는 완전히 관찰 할 수없고 헤우리스 TIC 최적화 (예 : 확률 적 구배 하강을 통해)를 통해 해결책을 근사해야하기 때문입니다. 알고리즘 적으로 투명한 모델의 주요 제약 조건은 수학적 분석 및 방법을 통해 모델을 완전히 탐색 할 수 있어야한다는 것입니다.

 

2.5.2. Post-hoc explainability techniques for machine learning models

사후 설명 가능성은 텍스트 설명, 시각적 설명, 로컬 설명, 예에 의한 설명, 단순화에 의한 설명 및 기능 관련 설명 기술과 같은 다양한 수단을 향상시키기위한 다양한 수단에 의지하여 디자인으로 쉽게 해석 할 수없는 모델을 대상으로합니다. 이러한 각 기술은 인간이 시스템과 프로세스를 스스로 설명하는 가장 일반적인 방법 중 하나를 다룹니다. 이 강을 따라, 실제 기술 또는 더 나은 퍼팅, 실제 기술 그룹은 지식에 맞는 특정 기술을 찾아야하는 모든 연구원의 미래 작업을 완화하기 위해 지정됩니다. 여기서 끝나지 않고 분류에는 기술이 적용된 데이터 유형도 포함됩니다. 분류는 이러한 기술을 제안한 저자가 사용하는 유형 만 고려하지만 많은 기술이 여러 가지 유형의 데이터에 적합 할 수 있습니다. 전반적으로, 사후 설명 가능성 기술은 저자의 의도 (예 : 단순화에 의한 설명)에 의해 먼저 나뉘어지고, 사용 된 방법 (예 : SEN Sitivity Analysis) 및 마지막으로 데이터 유형에 의해 나누어진다. 적용 (예 : 이미지).

 

• 텍스트 설명은 모델의 결과를 설명하는 데 도움이되는 텍스트 설명을 생성하는 것을 배우는 방법을 통해 모델에 대한 설명을 가져 오는 문제를 다룹니다 [169]. 텍스트 설명에는 모델의 기능을 나타내는 모든 메소드 생성 기호도 포함됩니다. 이 기호는 모델에서 기호로의 의미 론적 매핑을 통해 알고리즘의 이론적 근거를 인형 할 수 있습니다.

• 사후 설명 가능성을위한 시각적 설명 기술은 모델의 행동을 시각화하는 것을 목표로합니다. 문헌에 존재하는 많은 시각화 방법은 인간 해석 가능한 간단한 시각화를 허용하는 차원 감소 기술과 함께 제공됩니다. 시각화는 다른 기술과 결합되어 이해를 증명할 수 있으며 ML 모델링에 익숙하지 않은 사용자에게 모델과 관련된 변수 내에 복잡한 상호 작용을 도입하는 가장 적합한 방법으로 간주됩니다.

• 로컬 설명은 솔루션 공간을 세분화하고 전체 모델과 관련된 덜 복잡한 솔루션 하위 공간에 대한 설명을 제공하여 설명을 해결합니다. 이러한 설명은 전체 시스템 기능의 일부만 설명하는 차별화 특성을 가진 기술을 통해 형성 될 수 있습니다.

• 예제에 따른 설명 특정 모델에 의해 생성 된 결과와 관련된 데이터 예제의 추출을 고려하여 모델 자체를 더 잘 이해할 수 있습니다. 주어진 프로세스를 설명하려고 할 때 인간이 행동하는 방식과 유사하게, 예에 의한 설명은 주로 분석중인 모델에 의해 발견 된 내부 관계와 상관 관계를 파악하는 대표적인 사례를 추출하는 데 중점을 둡니다.

• 단순화에 의한 설명은 설명 할 훈련 된 모델을 기반으로 완전히 새로운 시스템이 재건되는 기술을 종합적으로 나타냅니다. 이 새롭고 단순화 된 모델은 일반적으로 선행 기능과의 유사성을 최적화하면서 복잡성을 줄이고 유사한 성능 점수를 유지하려고 시도합니다. 이 사후 기술 제품군의 흥미로운 부산물은 단순화 된 모델이 일반적으로 나타나는 모델에 대한 복잡성이 감소하기 때문에 일반적으로 구현하기가 더 쉽다는 것입니다.

• 마지막으로, 사후 설명을위한 기능 관련 설명 방법- 관리 변수의 관련성 점수를 계산하여 모델의 내부 기능을 명확하게 설명합니다. 이 점수는 기능이 모델의 출력에 대한 애정 (감도)을 정량화합니다. 다른 변수들 사이의 점수를 비교하면 출력을 생성 할 때 모델이 각 변수에 부여한 중요성을 발표합니다. 기능 관련성 방법은 모델을 설명하는 간접적 인 방법이라고 생각할 수 있습니다.

위의 분류 (그림 4에 그래픽으로 묘사 됨)는 다음 섹션에서 ML 모델에 대한 특정/응용 XAI 기술을 검토 할 때 사용됩니다 (표 2). 각각의 ML 모델에 대해, 필드 트렌드의 전반적인 이미지를 제시하기 위해 각 범주에 대한 제안의 차이가 제시된다.