AU 令和2年度秋期午後Ⅱ 問1

AI技術を利用したシステムの企画・開発に関する監査について

　近年，大量のデータの中から一定の規則・特徴を見つけ出し，予測・判断する機械学習，深層学習などのAI技術が進展し，AI技術を利用したシステム（以下，AIシステムという）の導入事例が増えてきている。既に，画像認識による顔認証，テキスト・音声を通じて会話するチャットボット，人材マッチングによる採用支援，顧客の信用力スコアリングによる与信審査などのAIシステムが実用化されている。
　AIシステムの開発は，ユーザ企業など（以下，ユーザという）がAI技術のノウハウをもったベンダに収集データを提供して委託することが多い。ベンダは，収集データを学習用データセットに加工して，オープンソースソフトウェア，ベンダが保有する開発プログラムなどを組み合わせた学習用プログラムに入力し，成果物として学習済みモデルを生成する。
　一方，AIシステムには，アルゴリズムのブラックボックス化の問題をはじめ，収集データの不足・偏りなどによって，学習済みモデルによる予測・判断結果の解釈が難しかったり，精度が低かったりする場合がある。したがって，機能要件を確定してから構築する従来の開発手法では対応が難しくなる。また，収集データの加工に多くのコストが掛かったり，ベンダが有するノウハウなどの権利帰属の問題によって，ユーザが学習済みモデルを利用する際に制約が生じたりすることも想定される。
　今後，AIシステムの実用化が広がる中，システム監査人には，AIシステムの利用段階でのリスクを踏まえて，AIシステムの導入目的，開発手法，ユーザ・ベンダ間の取決めなどが適切かどうかを企画・開発段階で確かめておくことが求められる。
　あなたの経験と考えに基づいて，設問ア〜ウに従って論述せよ。

設問ア　あなたが関係する組織において，AI技術を利用する目的と，開発を検討している又は開発したAIシステムの概要について，800字以内で述べよ。

設問イ　設問アで述べたAIシステムの利用段階において想定されるリスクについて，700字以上1,400字以内で具体的に述べよ。

設問ウ　設問イを踏まえて，AIシステムの導入目的，開発手法，ユーザ・ベンダ間の取決めなどが適切かどうかを確かめるために，企画・開発段階において実施すべき監査手続について，700字以上1,400字以内で具体的に述べよ。

IPA公開情報

出題趣旨

　AI 技術の進展に伴い，画像認識による顔認証，テキスト・音声を通じて会話するチャットボット，人材マッチングによる採用支援，顧客の信用力スコアリングによる与信審査など，AI 技術を利用したシステムである AI システムの導入事例が増えてきている。
　一方，AI システムには，予測・判断結果の解釈が難しかったり，精度が低かったりすることがあるので，機能要件を確定してから構築する従来の開発手法による対応では難しくなる。また，精度を高めるための収集データの加工に多くのコストが掛かったり，ベンダが有するノウハウなどの権利帰属の問題によって，ユーザの利用時に制約が生じたりすることも想定される。
　本問では，システム監査人として，AI システムの利用段階において想定されるリスクを踏まえて，AI システムの導入目的，開発手法，ユーザ・ベンダ間の取決めなどが適切かどうかを企画・開発段階において監査するための知識・能力などを問う。

採点講評

　システム監査技術者試験では，システム監査人の立場から論述することを求めているが，システム担当者としての対応を論述している解答が散見された。また，監査手続を求めている論述では，そもそも監査手続の意味を理解できていなかったり，監査の実施内容を論述したりしているものが目立ち，確かめるべき監査項目と監査証拠について具体的に論述できている解答は少なかった。問題文の内容を踏まえて，設問で求めていることを論述するように心掛けてほしい。

　問 1 では，AI 技術の利用目的と AI システムの概要については具体的に論述している解答が多かったが，AI システムの利用段階において想定されるリスクについては，コントロールを論述していたり，企画・開発段階のリスクを論述したりしている解答が散見された。また，AI システムの導入目的，開発手法，ユーザ・ベンダ間の取決めなどが適切かどうかを企画・開発段階で確かめる監査手続についての論述を求めたが，利用段階における監査手続であったり，確かめるべき具体的な監査証拠を記述していなかったり，監査を実施した結果を論述したりしている解答が目立った。設問で問うていることを正しく理解して，論述してほしい。