AIは何ができるか・できないか ― AI活用における「人の考える仕組み」―

コラムカテゴリー：DX（デジタル・トランスフォーメーション）, ITコンサルティング, 情報戦略/業務改革, 技術

記事の執筆

高柳充希

新卒で入社した商社にて、ユーザーとしてシステム導入の経験をする。業務改善と費用削減など経営と現場の改善策としてシステムの利活用に興味を持つ。自らがシステム開発に携わるためにSIerに入社。そこではSE、プログラマーとしてシステムの設計から開発、テストまで幅広く経験をする。より企業ごとのビジネスに適したシステム導入を支援するために青山システムコンサルティングに入社。

はじめに

AIの進化は、社会活動のあらゆる領域に新たな可能性をもたらしています。実際に多くの企業がAIの導入を進めていますが、期待した成果が得られないと感じるケースも少なくありません。その背景には、AIと人の判断構造を十分に整理しないまま活用を始めてしまう点が挙げられます。

本コラムでは、AIを活用する上で「人とともに考える仕組み」をどのように設計すべきかを考察します。

AIを過信する心理

AIの性能には目を見張るものがあります。これまで人が時間をかけて練り上げてきた企画書や商品デザイン、分析レポートをAIはわずか数秒で生成します。しかも、その内容にはしばしば人間の発想を超えたアイデアが含まれています。そのため、たとえAIの結論にわずかな違和感を覚えても、私たちは無意識のうちにAIの判断を優先してしまうことがあります。

AIの結果を過信してしまう背景には、人が自動化された仕組みの判断を過度に信頼してしまう心理傾向があるためです。この傾向は「オートメーション・バイアス」と呼ばれ、人間がシステムの判断を無意識に正しいとみなしてしまう現象を指します。実際に米ジョージタウン大学の研究によると、AIの提案が誤っていると認識していながら、人が修正を加えないケースが確認されています。

AIは膨大なデータをもとに、統計的に最適と思われる回答を導き出しています。ただし、その最適化はあくまで「情報空間」における推論にすぎず、現実世界の複雑な状況や価値判断を踏まえたものではありません。それにもかかわらず、私たちはAIが導き出した結論を客観的で正しい答えと受け止めてしまいがちです。AIの出力を鵜呑みにしないためには、AIの結果に対して人の再評価を必然とする仕組みが求められます。

再評価を設計するための構造

AIの出力に対して人が再評価を行う仕組みを構築するためには、意思決定に至るまでのAIと人の役割を構造として整理することが重要です。AIの出力は人の判断を支える要素であり、AIが提示した結果を人が受け取り、意味づけを加えながら最終判断へとつながっていきます。その関係を整理する手がかりとして、実際のプロジェクト事例を紹介します。

＜プロジェクト事例＞

あるプロジェクトではシステムのセキュリティ脆弱性を検知するためにAIツールを導入しました。AIは対象システムのリスクを自動で抽出し、深刻度に応じて「高・中・低」と分類する仕組みです。

しかし、AIが「高」と判定した項目が実際には事業上軽微であることや、逆に「中」とされた項目が重大なリスクだったりするケースが頻発しました。原因は、AIが判断していたのが技術的リスクであって、事業リスクではなかったことです。

そこで、運用ルールを次のように変更しました。

AIが出したリスク結果を一次情報として扱い、その内容をもとにエンジニアが事業影響を踏まえて重みづけを行う。
最終的な対応方針（修正・延期・受容）は、PMがプロジェクト全体の状況を見て判断する。

この運用変更によって、事業上リスクの高い脆弱性に優先的に対応できる体制が整いました。ここで重要なのは、AIと人の役割を明確に線引きしたことです。AIは脆弱性を漏れなく検知する役割を担い、人が事業の実態に則した効果的な判断を担う仕組みを設計したのです。

この経験を一般化するために、「データ層」「意味づけ層」「意思決定層」の三層に分けて整理してみました。以下の図はAIがどこまでを担い、人がどの段階で関与すべきかを可視化したものです。

【AI判断の三層モデル】

AIが担うのは与えられたデータや情報の関係性を整理し、そこから新たな組み合わせや洞察を導き出す「データ層」です。一方で、人の役割は二つに分かれます。まず、AIの出力がどのような前提や条件に基づくかを理解し、現実との整合性を見極める「意味づけ層」です。そして次に、その結果を自らの目的や価値観、組織の方針に照らして意思決定につなげる「意思決定の層」です。

三層モデルによって、AIの出力から意思決定に至るまでの流れを整理し、人とAIがどのように関わり合うかを全体像として捉えられるようになりました。しかし、構造を理解するだけではAIによる出力への過信は防げません。次章では、この三層モデルを実際の現場で機能させるための運用ルールを考えます。

三層モデルを機能させる運用ルール

三層モデルを実際の現場で機能させるためには、抽象的な設計思想を日常の運用ルールに置き換えることが欠かせません。しかし、AIは絶えず進化しており、業務内容や環境に応じて最適な運用の形も変化していきます。変化に合せて見直し続ける前提で、再評価を運用として定着させるためのルールを整理しました。

① データ層の扱い

AIの結果は、人が意味づけと意思決定をする上での出発点と位置づけます。具体的には、人による確認を経ていないAIの出力は、社内稟議や対外提出には利用できないとするルールを定めることです。AIが提案した文章や分析結果を「一次案」や「候補」として扱うことで、人の思考が自然と介在する仕組みになります。

② 意味づけ層における再評価の基準を定める

AIの出力に対して、人がどの程度再評価を行うかをあらかじめ定めます。AIが出力した結果のすべてを隈なく見直そうとすると、運用コストが増大し、ルールの形骸化を招きかねません。そのため、再評価の基準を明確にし、内容に応じて適切な再評価を行えるようにすることが重要です。

再評価の基準は、主に事業影響度とAIの出力の妥当性の2つの観点で整理できます。まず、判断を誤ると事業への影響が大きい業務の場合には、人が全面的に再評価することを原則とします。ここでいう影響が大きいとは、顧客対応や法務、セキュリティ対応のように判断ミスが直接的な損失やリスクにつながる場面、またはブランド価値に関わる判断など、誤りが組織に重大な影響を及ぼすケースを指します。一方、事業への影響が比較的小さい場合には、AIの出力内容の妥当性に応じて、どの程度の再評価が必要かを判断します。

ここでの妥当性の判断には、主に次の2点が関わります。

説明可能性：AIの出力理由や手順を人が理解できるか。

AI出力の根拠（引用・条件・使用データなど）が明示されているか、または同様の条件で再出力しても結果が大きく変わらないかを確認します。

汎用性：AIの出力がどの程度、他の状況や業務に適応できるか。

他部署・顧客・社外でも通用する内容か、それとも自社特有のルールや前提に強く依存しているかを確認します。

この2つの観点をもとに、どの程度の再評価が必要かを判断します。

次のマトリクスは説明可能性と汎用性の観点から、再評価の程度を判断するための指針です。

確認すべき観点とその重要度を押さえることで、AIの出力に応じて適切な再評価を行えます。また、再評価の基準を明確にしておくことで、AIの判断をそのまま受け入れず、人が意味を付与する余地を確保することにつながります。

③ 意思決定層のプロセスを設ける

AI導入の目的に立ち返り、最終判断を人が行うルールを明確にします。まずは判断する責任者を個人単位で設定します。さらに、判断の記録として決定に至った根拠と参照情報（AI出力・レビュー票（再評価の結果）・代替案など）を紐づけて記録します。「誰が」「どの情報をもとに」判断を下したのかを明文化することで、責任の所在が曖昧になることを防ぎます。さらに、この判断記録はAIの再学習データとしても活用できます。

④ 定期的に運用を振り返る

AIと人の役割を見直す機会をあらかじめ設けておくことです。確認すべきポイントは3つあります。

AIの提案と最終判断の差分（AIの結果がどのように修正されたか）
採用率・修正率の推移（AIの結果をどの程度安定的に活用できているか）
判断に要する時間（人の負担がどれほど軽減・増加しているか）

AIが進化しても、運用ルールが固定化されれば組織はすぐに時代遅れになります。変化に応じて仕組みを点検・改善することこそが大切です。

このように、AIと人の判断を分けて設計し、運用を通じて磨き続けることが、AIを活かしきるための条件だと考えます。

変化に応じて境界線を再設計する

AIの進化は日々続いています。昨日まで人が行っていた判断が、明日にはAIに任せられることがあるかもしれません。一方、社会のルールや事業環境の変化によって、AIが対応できない新しいリスクが生まれることもあります。だからこそ、三層モデルの境界線を固定してはいけません。AIの精度が高まればデータ層の領域を広げ、新たなリスクが見つかれば意味づけ層や意思決定層に戻すような調整が必要です。こうしたモデルの変化に合わせて、運用ルールも適宜見直さなければなりません。つまり、AIと人の関係を動的に見直し続けること自体が、AI時代における人の役割です。AIを使う組織から、AIとともに考える組織へと進化するにあたって、このコラムが一助になれば幸いです。

弊社ではAIアドバイザリーサービスを提供しております。AIの導入や導入後の有効活用における課題をお持ちの方は、お気軽にご相談いただければと存じます。貴社のご状況に合わせて、AI活用の定着や改善に向けた取り組みを支援いたします。