설명가능한 인공지능(XAI) 관련 설명(4)

XAI 관련 설명(1)

XAI 관련 설명(2)

XAI 관련 설명(3)

XAI 관련 설명(5)

 

5. XAI: Opportunities, challenges and future research needs

우리는 이제 수행 된 문헌 검토를 활용하여 ML 및 데이터 융합 모델의 설명 분야에서 여전히 해결해야 할 업적, 동향 및 도전에 대한 비판을 제시합니다. 실제로이 분야에서 지금까지 취한 발전에 대한 우리의 논의는 이미 이러한 과제 중 일부를 예상했습니다. 이 섹션에서 우리는 그들을 다시 방문하고 XAI를위한 새로운 연구 기회를 탐색하여 앞으로 몇 년 안에 효과적으로 해결하기 위해 다음과 같은 연구 경로를 식별합니다.

• 섹션 1에서 개요를 도입 할 때 우리는 이미 ML 모델을 더 이해하기 쉽게 만드는 것이 결국 생산 된 결정의 품질을 저하시킬 수 있다는 점에서 이미 모델 해석 성과 성능 사이의 트레이드 오프의 존재를 이미 언급했습니다. 섹션 5.1에서 우리는 ML 모델의 해석 성과 성능 사이의 최적 균형을 효과적으로 달성하기 위해 XAI 개발의 잠재력을 강조 할 것입니다.

• 섹션 2.2에서 우리는 AI 영역 내에서 어떤 설명이 수반되는지에 대한 합의에 도달 해야하는 필수 요구에 대해 강조했다. 설명 가능성을 추구 해야하는 이유도 분류되고, 지금까지 문헌에 대한 우리 자신의 평가하에 관련 작품 전체에서 명백히 언급되지 않았습니다. 5.2 절에서는이 중요한 문제를 더 자세히 살펴볼 것입니다.

• Xai 문헌에서 주목할만한 유병률을 감안할 때, 4.3 절과 4.4 절은 딥 러닝 모델의 설명에 대해 회전했으며, 지금까지 특정 서지 분류법에 대해보고 된 진보를 조사했습니다. 우리는 섹션 5.3과 같은 방향으로 이어집니다.이 모델 제품군의 설명과 관련하여 몇 가지 도전을 드러냅니다.

• 마지막으로, 우리는 섹션 5.4 –5.8 과이 전향 적 토론을 닫는데, 이는 모델 설명과 관련된 연결에도 불구하고 커뮤니티가 불충분하게 연구하는 몇 가지 연구 틈새 시장을 표에 배치합니다. 이러한 식별 된 도전을 탐구하기 전에,이 전향 적 섹션은 섹션 6에 의해 보완된다는 점을 명심해야합니다.이 섹션은 더 넓은 맥락에서 XAI와 관련된 연구 요구와 공개 질문을 열거하고 있습니다.

 

5.1. On the tradeoffbetween interpretability and performance

해석 성과 성능의 문제는 시간이 지남에 따라 반복되는 문제이지만 다른 큰 진술과 마찬가지로 신화와 오해로 가득 찬 주변 환경이 있습니다.

[347]에 완벽하게 언급 한 바와 같이, 더 복잡한 모델이 본질적으로 더 정확하다는 것은 반드시 사실은 아닙니다. 이 진술은 데이터가 잘 구성되어 있고 우리의 처분의 특징은 품질과 가치가 우수합니다. 이 사례는 일부 산업 환경에서 분석되는 기능이 매우 통제 된 물리적 문제 내에서 제한되기 때문에 모든 기능이 상관 관계가 높고 데이터에서 가능한 값의 환경을 많이 탐색 할 수는 없기 때문에 일부 산업 환경에서는 다소 일반적입니다 [348]. 진실로 유지할 수있는 것은 더 복잡한 모델이 더 간단한 상대보다 훨씬 더 많은 유연성을 누려서 더 복잡한 기능을 근사화 할 수 있다는 것입니다. 이제 "더 복잡한 모델이 더 정확합니다"라는 진술로 돌아가는 것은 근사가되는 기능이 특정 복잡성을 수반한다는 전제를 감안할 때 각 변수에 대해 적절한 값의 세계 사이에서 크게 널리 퍼져 있다는 전제를 고려할 때. 복잡한 모델을 활용하기에 충분한 데이터가 있으며,이 명령문은 진정한 진술로 제시됩니다. 이 상황에서 성과와 해석 성 사이의 무역을 관찰 할 수 있습니다. 위에서 언급 한 건물을 존중하지 않는 문제를 해결하려는 시도는 충분한 데이터 다양성 (분산)을 제공하지 않는 문제를 해결하려는 시도에 속할 것입니다. 따라서 모델의 추가 복잡성은 문제를 정확하게 해결하는 과제에 대해서만 싸울 것입니다. 성능을 향한이 경로에서, 성능이 복잡성으로 손을 잡을 때, 해석 가능성은 지금까지 피할 수없는 것처럼 보이는 아래쪽 경사면에서 만난다. 그러나 설명 가능성을위한보다 정교한 방법의 유령은 그 경사를 반전 시키거나 취소 할 수 있습니다. 그림 12는 Xai가 모델 해석 가능성과 성능 사이의 일반적인 상충 관계를 개선 할 수있는 힘을 보여주는 이전 작품 [7]에 의해 제기 된 잠정적 인 표현을 보여줍니다. 모델 해석 가능성과 성능에 대한 밀접한 링크로 인해이 시점에서 언급 할 가치가있는 또 다른 측면은 근사치 딜레마입니다. ML 모델을위한 설명은 그들이 추구하는 청중의 요구 사항에 맞게 과감하고 근사해야합니다. 설명이 연구 된 모델을 대표하고 필수 기능을 지나치게 단순화하지 않도록합니다.

 

5.2. On the concept and metrics

문헌은 통일 된 설명의 개념을 분명히 요구한다. 분야가 번성하기 위해서는 커뮤니티가 새로운 기술과 방법을 제공 할 수있는 공통 근거를 배치하는 것이 필수적입니다. 일반적인 개념은 현장에서 표현 된 요구를 전달해야합니다. 모든 XAI 시스템에 대한 공통 구조를 제안해야합니다. 이 백서는 설명 가능성의 개념에 대한 새로운 제안을 시도했습니다.

그것은 Gunning [7]으로부터 구축된다. 그 제안과 다음과 같은 뇌졸중을 완성하기 위해 (섹션 2.2), 설명은 모델이 청중에게 기능을 더 명확하게 만드는 능력으로 정의됩니다. 이를 해결하기 위해 사후 유형 방법이 존재합니다. 이 설문 조사에서 묘사 된 개념은 완전하지 않을 수도 있지만, 그 대로이 문제에 대한 수익성있는 토론을 유지할 수있는 첫 번째 공통 근거와 참조 지점을 허용합니다. Xai의 분야가 동일한 배너 뒤에 광범위한 분야의 산산조각이 산산조각 난 노력을 결합하여 합의에 도달하는 것이 가장 중요합니다. 특정 모델을이 구체적인 개념과 관련시키는 데 필요한 또 다른 주요 기능은 메트릭의 존재입니다. 메트릭 또는 그 그룹은 모델이 설명 가능한 정의에 얼마나 잘 맞는지에 대한 의미있는 비교를 허용해야합니다. 그러한 도구가 없으면, 이와 관련하여 어떤 주장은 문헌들 사이에서 희석되어 견고한 근거를 제공하지 않습니다. 고전적인 메트릭 (정확도, F1, 민감도 ...)으로서 이러한 메트릭은 모델이 설명 가능성의 특정 측면에서 얼마나 잘 수행되는지를 표현해야합니다. [349,350]에서 철저히 검토 된 바와 같이 최근 XAI의 측정과 관련하여 일부 시도가 이루어졌다. 일반적으로 XAI 측정은 설명의 선함, 유용성 및 만족도, 모델 설명에 의해 유발 된 청중의 정신 모델의 개선, 모델의 성능 및 청중의 신뢰와 의존에 대한 설명의 영향을 평가해야합니다. . [349] 및 [350]에서 조사 된 측정 기법 (예 : Goodness Checklist, 설명 만족도, 정신 모델에 대한 추출 방법, 설명 자 충실도를위한 계산 측정, 설명 신뢰성 및 모델 신뢰성)은 평가의 방향으로 좋은 추진력이있는 것으로 보입니다. Xai 기술. 불행히도, 이러한 개요에서 도출 된 결론은 현장에서의 전망과 일치합니다. 커뮤니티가 제안한 기존 측정 절차 및 도구를 지원하기 위해보다 정량화 가능한 일반 XAI 지표는 실제로 필요합니다. 이 설문 조사는 그러한 메트릭 제품군을 설계하는 문제를 해결하지 못합니다. 반면에 그러한 작업은 광범위한 설명의 개념에 대한 전체적인 수용으로 인해 커뮤니티가 접근해야하기 때문입니다. 현재하는 일. 그럼에도 불구하고, 우리는 XAI 기술의 성능을 평가하기위한 새로운 제안에 대한 추가 노력을 옹호 할뿐만 아니라, 다른 응용 컨텍스트, 모델 및 목적 하에서이를 정량적으로 대조 할 수있는 XAI 접근법들 사이의 비교 방법론을 옹호합니다.

 

5.3. Challenges to achieve explainable deep learning

현재 XAI 분야에서 많은 노력이 이루어지고 있지만 DL 모델에서 설명 가능성을 얻기 전에 여전히 많은 어려움이 있습니다. 첫째, 섹션 2.2에서 설명한 바와 같이, 어휘와 XAI 주변의 다른 정의에 대한 합의가 부족합니다. 예를 들어, 우리는 종종 용어의 중요성과 동일한 개념을 나타내는 기능 관련성을 보게됩니다. 이것은 시각화 방법에 더욱 분명합니다. 시각화 방법은 Saliency지도, 두드러진 마스크, 히트 맵, 뉴런 활성화, 속성 및 기타 접근법으로 알려진 것보다 일관성이 전혀 없습니다. Xai는 비교적 젊은 분야이기 때문에 커뮤니티에는 아직 표준화 된 용어가 없습니다. 섹션 5.1에서 언급 된 바와 같이, 해석 성과 정확성 [13], 즉 내부 기능에 대한 시스템이 제공 한 정보의 단순성 과이 설명의 철저성 사이에는 상충 관계가 있습니다. 관찰자가 분야의 전문가이든, 정책 입안자 또는 기계 학습 지식이없는 사용자이든, 이해력은 청중에게 이해를 제공하기 위해 같은 수준에있을 필요는 없습니다 [6]. 이것이 위에서 언급했듯이 XAI의 도전이 좋은 설명을 구성하는 것에 대한 객관적인 지표를 설정하는 이유 중 하나입니다. 이러한 주관성을 줄일 수있는 가능성은 인간 심리학, 사회학 또는인지 과학에 대한 실험에서 영감을 받아 객관적으로 설득력있는 설명을 만듭니다. 설명 가능한 AI 모델을 만들 때 고려해야 할 관련 결과가 [12]에서 강조 표시됩니다. 첫째, 수축이있을 때 설명이 더 좋습니다. 즉, 좋은 설명을위한 전제 조건은 모델이 결정 X를 만든 이유뿐만 아니라 왜도 결정 X를 만든 것인지를 나타냅니다. 결정 Y보다는 결정 X를 만든 이유도 있습니다. 또한 만족스러운 설명을 제공하기 위해 확률이 인과 관계만큼 중요하지 않다고 주장합니다. 블랙 박스 모델이 정량적으로 데이터를 처리하는 경향이 있다는 점을 고려할 때, 확률 적 결과를 인과 관계 링크를 포함하는 질적 개념으로 변환해야합니다. 또한, 그들은 설명이 선택적이며 의사 결정 과정의 주요 원인에만 초점을 맞추면 충분하다는 것을 의미합니다. 또한 반 사실적인 설명을 사용하면 사용자가 모델의 결정을 이해하는 데 도움이 될 수 있습니다 [40,42,351]. 연결주의와 상징적 패러다임을 결합하는 것은이 도전을 해결하는 유리한 방법으로 보인다 [169,299,312,352,353]. 한편으로는 연결주의 방법이 더 정확하지만 불투명합니다. 반면에, 상징적 방법은 대중적으로 덜 효율적인 것으로 간주되는 반면, 위에서 언급 한 조건을 존중하는 더 큰 설명을 제공합니다.

• 확립 된 추론 규칙을 참조하는 능력은 상징적 방법을 수축시킬 수있게합니다.

• KB의 사용은 공식화되었습니다. 온톨로지에 의해 데이터를 질적으로 직접 처리 할 수 있습니다.

• 선택적이되는 것은 상징적 모델보다 연결 주의자 모델보다 간단합니다.

좋은 설명은 사용자의 정신 모델, 즉 상징을 사용하여 외부 현실의 표현에 영향을 미쳐야한다는 것을 상기하면, 상징적 학습 패러다임의 사용이 설명을 만드는 데 적합한 것으로 보입니다. 따라서 신경 상징적 해석 성은 일반적인 성능을 유지하거나 개선하면서 설득력있는 설명을 제공 할 수있다 [297]. [24]에서 언급 한 바와 같이, 진정으로 설명 할 수있는 모델은 배경 지식에 따라 다른 설명이 추론 될 수 있으므로 사용자에게 설명 생성을 남겨 두지 않아야합니다. 지식을 의미 론적으로 표현하면 모델이 상식 추론과 인간 이해할 수있는 특징을 결합한 설명을 생성하는 능력 (예 : 자연 언어 [169])를 갖는 데 도움이 될 수 있습니다. 또한 객관적인 메트릭이 채택 될 때까지 평가 방법을 엄격하게 공식화하기 위해 노력해야합니다. 한 가지 방법은 평가 질문과 사용 된 인구 샘플을 선택할 때 일관성을 유지함으로써 사회 과학에서 영감을 얻는 것일 수 있습니다 [354]. DL을 해결 해야하는 최종 도전 XAI 방법은 사회, 정책 입안자 및 법 전체에 접근 할 수있는 설명을 제공하는 것입니다. 특히, 비 기술적 전문 지식이 필요한 설명은 모호성을 처리하고 EU 일반 데이터 보호 규정 (GDPR)에 대한 설명에 대한 (아직 사용 가능한) 권리에 대한 사회적 권리를 개발하는 데 가장 중요합니다 [355].

 

5.4. Explanations for AI security: XAI and adversarial machine learning

Xai와 관련된 기밀성 문제에 대해서는 아무런 언급이 없습니다. 마지막 설문 조사 중 하나는 알고리즘 속성 및 영업 비밀에 대한 아이디어를 매우 간단히 소개했습니다 [14]. 그러나 이러한 개념에 많은 관심을 기울이지 않았습니다. 기밀이 비밀로 만드는 속성 인 경우, AI 맥락에서 모델과 관련된 많은 측면 이이 속성을 보유 할 수 있습니다. 예를 들어, 일부 회사가 특정 분야에서 수년간의 연구를 통해 개발 한 모델을 상상해보십시오. 구축 된 모델에서 합성 된 지식은 기밀로 간주 될 수 있으며 입력 및 출력 액세스 만 제공함으로써조차 타협 될 수있다 [356]. 후자는 최소한의 가정 하에서 데이터 모델 기능 도둑질이 가능하다는 것을 보여준다. 접근 할 수없는 쿼리 순서에 기초하여 지적 재산 노출에 대해 DL 모델을보다 강력하게 만드는 데 도움이 된 접근법은 [357]에있다. 이 최근 연구는 ML 모델을 설명 할 수있는 XAI 도구 개발에 대한 추가 연구가 필요하고 모델의 기밀을 염두에두고 있습니다. 이상적으로 Xai는 AI 모델 내에서 지식을 설명 할 수 있어야하며 모델이 무엇을하는지 추론 할 수 있어야합니다. 그러나 XAI 기술에 의해 공개 된 정보는 이러한 정보를 사용하여 개인 컨텐츠 노출을보다 잘 보호 할 수있는 기술을 개발하는 것과 동시에 모델 혼동을 목표로하는 적대적 맥락에서보다 효과적인 공격을 생성하는 데 사용될 수 있습니다. 적대적 공격 [358]은 시스템에 공급되어야하는 특정 정보가 특정 출력으로 이어질 수 있도록 ML 알고리즘을 조작하려고 시도합니다. 예를 들어, 감독 된 ML 분류 모델과 관련하여, 대적 공격은 다른 분류를 일으키기 위해 입력 데이터에 적용되어야하는 최소 변경 사항을 발견하려고 시도합니다. 이것은 자율 주행 차량의 컴퓨터 비전 시스템에 관한 것입니다. 인간의 눈에 인식 할 수없는 정지 신호의 최소 변화는 차량을 45mph 신호로 감지하게했다 [359]. DL 모델의 특정 사례의 경우 Cleverhans [360]과 같은 사용 가능한 솔루션은 대적 취약점을 감지하고 모델을 강화하기위한 다양한 접근법을 제공하려고합니다. 다른 예로는 SVM 모델의 경우 Alfasvmlib [361] 및 회피 공격의 경우 Adversariallib [362]가 포함됩니다. 클러스터링 알고리즘과 같이 감독되지 않은 ML에 대한 사용 가능한 솔루션도 있습니다 [363]. XAI 기술은보다 효과적인 적대적 공격을 제공하거나 모델 자체의 기밀 측면을 밝히는 데 사용될 수 있지만, 일부 기여는 생성 적대적 네트워크 (GANS [364]), 변형 자동 코더 [365] 및 기타의 가능성을 활용했습니다. 데이터 기반 결정을 설명하기위한 생성 모델. 일단 훈련되면 생성 모델은 당면한 데이터의 잠재적 표현으로 해석 될 수있는 노이즈 입력 벡터를 기반으로 배운 인스턴스를 생성 할 수 있습니다. 이 잠재적 표현을 조작하고 생성 모델의 출력에 미치는 영향을 조사함으로써, 예측할 클래스와 관련된 통찰력을 도출하고 특정 패턴을 발견 할 수 있습니다. 이 생성 프레임 워크는 주로 딥 러닝 모델의 특정 출력을 입력 변수와 관련시키기위한 귀속 방법으로 여러 최근의 연구 [366,367]에 의해 채택되었습니다. 또 다른 흥미로운 연구 방향은 반 인상적인 생성, 즉 모델의 원래 예측을 변경할 수있는 입력 데이터에 대한 수정을 위해 생성 모델을 사용하는 것입니다 [368]. 반 상당 프로토 타입은 사용자가 자신의 개선 된 신뢰와 정보에 대한 비판을 위해 고려중인 모델의 성능 경계를 이해하도록 도와줍니다. 이러한 최근 추세에 비추어, 우리는 생성 ML 모델이 이해할 수있는 기계 결정을 요구하는 시나리오에 참여할 수있는 길이 있다고 생각합니다.

 

5.5. XAI and output confidence

안전 문제는 자율 주행 차량의 차량 인식 및 자율 주행, 자동화 수술, 의료 진단에 대한 데이터 기반 지원, 보험 위험 평가 및 사이버-와 같은 AI 모델의 출력에 대한 프로세스와 관련하여 연구되었습니다. 제조의 물리적 시스템은 무엇보다도 [369]. 이러한 모든 시나리오에서 잘못된 모델 출력은 유해한 결과로 이어질 수 있으며, 이는 데이터 처리에 기초하여 결정되지 않도록 포괄적 인 규제 노력을 가져 왔습니다 [3]. 동시에, ML 모델의 출력에 대한 결정에서 도출 된 피해의 위험과 불확실성을 최소화하기위한 연구가 수행되었습니다. 결과적으로, 많은 기술이 그러한 위험을 줄이는 것으로보고되었으며, 그중에는 모델의 출력 신뢰도를 평가할 때 일시 중지합니다. 이 경우, 입력 데이터의 전염병 불확실성 (즉, 지식 부족으로 인한 불확실성)의 점유율을 검사하고 모델의 출력 신뢰도와의 해당에 따라 사용자에게 알리고 결국 모델의 출력을 거부 할 수 있습니다. [370,371]. 이를 위해, XAI 기술을 통해 입력 데이터의 어떤 영역이 있는지 설명하면 주어진 출력을 생성 할 때 모델이 초점을 맞추면 입력 영역 내에서 가능한 전염병 불확실성 소스를 구별 할 수 있습니다.

 

5.6. XAI, Rationale explanation, and critical data studies

데이터 과학에서 볼 수있는 연구 관행으로 초점을 바꿀 때 재현성은 단순한 데이터, 모델 및 결과를 커뮤니티에 공유 할뿐만 아니라 주변의 전체 담론에 대한 정보의 가용성에도 엄격하게 주제입니다. 모델 구성 및 결과 분석에서 얻은 데이터 수집, 이해, 가정 및 통찰력 [372]. 다시 말해, 데이터를 귀중한 실행 가능한 자산으로 변환하기 위해 개인은 결과를 생성하는 맥락을 공유함으로써 협력적인 감각 제작에 참여해야하며, 여기서 상황은 데이터가 처리, 청소, 모델링 및 분석 된 방법에 대한 이야기 스토리 세트를 나타냅니다. . 이 담론에서 우리는 또한 블랙 박스 모델을 이해할 수있는 것으로 묘사 할 수있는 강력한 능력으로 인해 Xai 기술을 채택하기위한 흥미로운 공간을 발견하므로 사회 과학, 정치, 인문학 및 법률 분야의 동료들에게 전달할 수있는 방식으로 전달할 수 있습니다. XAI는 모델이 비 경험적 사용자에게 접근 가능한 방식으로 결정에 도달 한 이유, 즉 이론적 설명에 대한 설명에 도달 한 이유를 효과적으로 완화 할 수 있습니다. 데이터 과학과 관련된 프로젝트에서 다 분야 팀의 이러한 합류 및 데이터 기반 선택의 윤리적 영향을 평가하기위한 방법론 검색은 최근에 중요한 데이터 연구로 만들어졌습니다 [373]. 이 분야에서 XAI는 모델에 의해 배운 지식에 대해 이기종 청중들 사이에서 정보 교환을 크게 향상시킬 수 있습니다.

 

5.7. XAI And theory-guided data science

우리는 Xai 영역과 이론 가이드 데이터 과학 사이의 흥미 진진한 시너지 효과를 구상합니다.이 데이터 과학은 [374]에 노출 된 패러다임과 데이터 과학과 데이터가 생성되는 응용 프로그램/컨텍스트의 기초가되는 고전적인 이론적 원칙을 모두 통합합니다. 이 증가하는 패러다임의 근거는 데이터 기반 모델이 그것이 운영되는 분야에서 가져온 사전 지식을 생성 할 필요가 있다는 것입니다. 이것은 우리가 직면하려는 관계 유형에 따라 모델 유형을 선택해야 함을 의미합니다. 구조는 또한 이전에 알려진 것을 따라야합니다. 마찬가지로, 훈련 접근법은 최적화 프로세스가 그럴듯하지 않은 영역에 들어가도록 허용해서는 안됩니다. 따라서, 정규화 용어는 현장의 이전 구내를 견뎌야하며, 가짜와기만적인 거짓 관계에 대한 진정한 진정한 관계를 제거하는 것을 피해야한다. 마지막으로, 모델의 출력은 모델이 배우게 된 모든 것에 대해 알리며, 새로운 지식을 현장에서 이미 알려진 것과 추론하고 병합 할 수 있어야합니다.

이 접근법의 구현의 많은 예는 현재 유망한 결과와 함께 사용할 수 있습니다. [375–382]의 연구는 다양한 분야에서 수행되어 데이터 과학에 대한이 새로운 패러다임의 잠재력을 보여 주었다. 무엇보다도, 이론 유도 데이터 과학의 모든 개념과 요구 사항이 XAI와 공유한다는 유사점을 알아 차리는 것이 관련이 있습니다. [374]에 제시된 모든 추가 사항은 결국 모델을 설명 할 수 있고 지식을 일관성있게 만드는 기술을 향해 푸시합니다. 이론이 유도 된 데이터 과학의 중심 인 처음부터 지식의 개념은 또한 모델에 의해 캡처 된 지식이 미리 알려진 이론적 원칙에 따른 준수를 평가하기 위해 어떻게 설명되어야하는지 고려해야한다. 이것은 다시, Xai의 웅장한 기회 창을 엽니다.

 

5.8. Guidelines for ensuring interpretable AI models

최근 조사는 AI 기반 모델을 해석 할 수있는 과정의 다 분야의 포괄적 인 특성에 대해 강조했습니다. 이 프로세스와 함께 시스템 설계자부터 생산 된 출력 및 사용자가 소비하는 의사 결정자에 이르기까지 시스템과 상호 작용하는 모든 이해 관계자의 관심사, 요구 및 요구 사항을 면밀히 조사하고 적절히 설명하는 것이 가장 중요합니다. 그로부터 내려진 결정의 결과. 다중 기준의 합류와 루프에 인간이 있어야 할 필요성을 감안할 때, AI 시스템을 구현하고 설명하기위한 절차 적 지침을 설정하려는 일부 시도가 최근에 기여되었습니다. 그중에서도, 우리는 [383]의 철저한 연구에서 일시 중지합니다. 이는 실제 AI 설계 및 배포 워크 플로에서 설명과 설명이 4 가지 주요 방법 론적 단계로 구성되어야 함을 시사합니다.

1. 해석 가능성에 대한 접근 방식을 고안 할 때 맥락 적 요인, 잠재적 영향 및 도메인 별 요구를 고려해야합니다. 여기에는 AI 모델이 구축 된 목적, 청중이 요구하는 설명의 복잡성에 대한 철저한 이해가 포함됩니다. 기존 기술, 모델 및 방법의 성능 및 해석 수준. 후자는 AI 시스템이 그 대신에 배치 될 수있는 기준점을 제시한다.

2. 가능한 경우 해석 가능한 기술을 선호해야합니다. AI 시스템 개발의 설명을 고려할 때 어떤 XAI 접근법이 선택 해야하는지 결정은 도메인 별 위험 및 요구, 사용 가능한 데이터 리소스 및 기존 도메인 지식 및 해결해야 할 계산 작업의 요구 사항을 충족하기위한 ML 모델의 적합성. 이 세 가지 디자인 드라이버의 합류에서 [383] (및 동일한 사고 라인의 다른 연구 [384])는 먼저 정교하면서도 불투명 한 모델링 방법보다는 표준 해석 가능한 모델을 고려할 것을 권장합니다. 실제로, 위에서 언급 한 측면 (맥락 적 요인, 영향 및 도메인 별 요구)은 해석이 사후 XAI 기술의 적용을 요구하는 복잡한 모델링 대안보다 투명 모델을 선호 할 수 있습니다. 대조적으로,이 작업에서 검토 된 것과 같은 블랙 박스 모델 (즉, 지원 벡터 머신, 앙상블 방법 및 신경망)과 같은 모델은 우수한 모델링 기능이 당면한 문제의 특성에 가장 적합한 경우에만 선택해야합니다.

3. 블랙 박스 모델이 선택된 경우, 세 번째 지침은 윤리, 공정성 및 안전 관련 영향을 평가해야한다는 것을 입증합니다. 구체적으로, AI 시스템의 설계 및 구현에 대한 책임은 그러한 식별 된 영향이 배치 된 도메인에 의해 묻힌 설명 수준을 제공하는 XAI 도구를 보충함으로써 그러한 식별 된 영향을 완화하고 대응할 수 있는지 확인함으로써 보장해야합니다. . 이를 위해 세 번째 지침은 1) 적용 가능한 설명 전략의 상세한 관절, 검사 및 평가, 2) 사용 가능한 설명 접근 방식의 적용 범위와 범위가 모델의 도메인 및 응용 프로그램 컨텍스트의 요구 사항과 일치하는지 여부를 분석합니다. 배치되어야합니다. 그리고 3) 계획 실행을위한 상세한 기간과 워크 플로와 관련된 팀의 역할과 책임의 허가를 포함하여 설명 세금 전략을 제시하는 해석 가능성 조치 계획의 공식화.

4. 마지막으로, 네 번째 가이드 라인은 인간의인지 기술, 역량 및 한계 측면에서 해석 성을 다시 생각하도록 권장합니다. 이것은 인간의 정신 모델을 고려하여 설명 가능성 측정에 대한 연구가 집중적으로 회전하는 중요한 질문, 설명 결과의 어휘에 대한 청중의 접근성, 청중의 전문 지식을 설명에 제공 해야하는 결정에 포함시키는 다른 방법 . 우리는 [383]에 제안 된 일련의 지침이 미래의 방법 론적 연구에 의해 보완되고 강화 될 것이며, 궁극적으로 AI의보다 책임감있는 사용으로 향할 것입니다. 방법 론적 원칙은 차별, 지속 가능성, 프라이버시 또는 책임과 같은 동등한 관련성의 다른 보편적 측면과 함께 모든 참가자의 요구 사항을 프로세스에 가져와 설명 가능성을 추구하는 목적을 충족시켜야합니다. 다음 섹션에서 논의 할 때 XAI의 잠재력을 활용할 수있는 도전은 여전히 남아 있습니다.

 

6. Toward responsible AI: Principles of artificial intelligence, fairness, privacy and data fusion

수년에 걸쳐 민간 및 공공의 많은 조직이 AI를 개발하고 사용하는 방법을 나타내는 지침을 발표했습니다. 이 지침은 일반적으로 AI 원칙이라고하며 개인과 사회 전체에 대한 잠재적 AI 위협과 관련된 문제를 해결합니다. 이 섹션은 Xai (일반적으로 자체 원칙 안에 나타나는 Xai)를 모두 그들 모두와 연결하기 위해 가장 중요하고 널리 알려진 원칙을 제시합니다. AI 모델의 책임있는 구현 및 사용을 실제로 찾으면 XAI가 자체적으로 충분하지 않다고 주장합니다. 프라이버시 및 공정성과 같은 인공 지능의 다른 중요한 원칙은 실제로 신중하게 고려되어야합니다. 다음 섹션에서 우리는 XAI의 의미와 가정 된 원칙의 충족에 대한 XAI의 의미와 데이터 융합의 의미와 함께 자세히 설명합니다.