2024.05.09

AI品質保証とは？

著者株式会社SHIFT　マーケティンググループ

Introduction

生成AI（ChatGPTなど）に代表されるAIサービスの精度が非常に上がり実用性が高くなってきたことを背景に、AIサービスを組み込んだシステム開発が非常に盛んに行われるようになってきました。次々と革新的なアプリケーションが生み出されるなか、システム開発プロジェクトはいままで通りの進め方でよいのでしょうか？何か考慮することはないのでしょうか？本コラムでは従来型のWebシステム開発とAI搭載のシステム開発とを比較することで、AIの特性を理解し、また「AI品質保証」という考え方を説明します。

AI搭載システムと普通のWebシステムの違い

従来型のWebシステムのよくある仕組みは、上記の図のように、

・データベースをもち、ユーザーによる操作に従ってデータベースに保存されたデータを取り出す
・業務ロジック通りの計算式でデータを加工し表示する
・入力されたデータを保存する

というような仕組みが一般的でした。
このため「こう入力されたらこう出力する」という出力値があらかじめ明確に定義できる特性がありました。また、プログラムを更新しない限り業務ロジックは変更されませんので、たとえば10年後であっても同じ結果を出力しつづけます。
一方でAI搭載システムは、出力値を事前に定義、予測できないという特性があります。これはAIが”モデル”によってブラックボックス的に出力値を計算するため起きる性質です。また、最新データ（新商品の情報など）をシステムに取り込む際、AIに学習させる必要があるため、一般的には追加で”学習”を行います。AIが学習を行うと、結果として”モデル”が変化します。この変化はAIまかせになるため、人間の期待通りに変化してくれる場合もあれば、かえって精度が下がってしまう（劣化）といったリスクもあることに注意しなければなりません。
従来型のWebシステムとAI搭載システムの違いを整理すると下表のようになります。

比較項目	従来型Webシステム	AI搭載システム
出力結果	確定的予測できる	確定的予測できない
計算方法	ルールベースルール通りにプログラミング	モデルベース学習データをAIモデルに与える
学習	なし	あり
劣化	しない	する
透明性	ホワイトボックスソースコードを読めばわかる	ブラックボックスモデルを見てもわからない

AI システムのはらむリスク -AIならではの品質保証の必要性-

AI搭載システムならではの特性について、具体的に見ていきましょう。

・学習データだけでなく、実データでも正しく営業売上を予測できるか
・工場ラインの不良品検出の見落としをしないか
・データが変わっても（年代、季節が変わる）、売上予測精度が劣化しないか
・自動運転のセンサカメラが標識の汚れ（画像の微小摂動）により誤動作しないか
・証券の自動取引における許容範囲を超えた発注が来ても、破綻しないか

これらのリスクは通常のWebシステム開発では存在しなかった、AI搭載システムならではのリスクです。このリスクを管理するため、AIシステム開発プロジェクトではいままでにない特別な対応＝AI品質保証が必要といえます。

AI品質保証とは

では、AI搭載システムの品質保証はどのようなものであるべきでしょうか。まずSHIFTが考えるAI品質は、国立研究開発法人産業技術総合研究所「機械学習品質マネジメントガイドライン（AIQM)」（以下「産総研AIQM」という）を参考に、

・製品全体の利用時品質
・機械学習要素の外部品質
・機械学習要素の内部品質

の三層に分けて考えています。

また、製品全体の利用時品質特性とはすなわちAI自体の価値であり、それを支える外部品質特性はリスク回避性とAIパフォーマンス、さらにその下には内部品質特性があり、それはデータ設計、データ品質、AIモデル品質、プログラム品質、運用時品質維持の5つの様相で構成されていると考えます（産総研AIQMをベースに、SHIFT独自解釈を含む）。

SHIFTではこのAI品質を保証するためのフレームワーク「AI品質保証フレームワーク」を上記の図のように定めました。これはAI品質の三層（利用時品質、外部品質、内部品質）の基盤が「テスト設計」であるととらえ、テスト設計次第でAI品質は左右されること、またテスト設計は内部品質特性に基づいて行う、というものです。

このフレームワークに基づけば「予測できない」「劣化の危険性がある」といったAI搭載システムならではの品質保証の難しさをAIの内部品質特性5要素に分解できるため、それら一つ一つについて解像度の高いテスト設計を行うことができ、ひいてはAI搭載システムの品質保証につながると考えます。

プロジェクトに求められるアクション

今まで見てきたように、AI搭載システムのテストは従来型のWEBシステム開発と違い“動けばOK”“それらしい回答が得られればOK”ではありません。プロジェクト計画の中に特別なテスト、それもAIならではの品質保証工程を組み込む必要があります。そのためにはAIの特性をしっかりと理解したメンバーをテスト担当として早期に（要件定義段階から）参画させ、開発するAIシステムに合わせたテスト設計を行う工程を考慮する必要があります。

SHIFTが提供できるサービス

SHIFTはAIの品質保証として参画した多くの事例があり、また「AI品質保証サービス」としてテスト戦略の設計からテスト実行まで参画することができます。

たとえば要件定義フェーズでは以下のようなテスト設計の検討をお客様と一緒に行います。もちろんその後のテスト実行までサポートすることも可能です。

AIシステムの品質保証ー基本と進め方―

本資料は、AIシステムの品質保証をテーマに、 SHIFTで実施しているノウハウを紹介しながら具体的な手法や進め方などを説明しています。
AIシステムの安全性と信頼性を確保することで、ユーザーに安心感を提供し、その結果、より広範囲での利用を促進いただけます。品質が確保されたAIシステムは、予測精度が高まり、ビジネスの意思決定や社会問題の解決に大きく貢献します。ぜひご覧ください。

ダウンロード

まとめ

AI搭載システムは運用開始後に性能が劣化する恐れがあります。そのためその特性を考慮したテスト戦略を実行しておかないと、運用開始後にトラブルを引き起こすことになってしまいます。AI搭載システムの実用化を確実に行うため、AI品質保証のキーワードで、プロジェクト計画を見直しされてはいかがでしょうか。

SHIFTのAI特化型品質保証サービスはこちらをご覧ください。
＞＞AI特化型品質保証サービスページへ

ご相談はこちらから
＞＞お問い合わせページへ

この記事を書いた人

著者株式会社SHIFT　マーケティンググループ

SHIFTは「売れるサービスづくり」を得意とし、お客様の事業成長を全力で支援します。無駄のないスマートな社会の実現に向けて、ITの総合ソリューションを提供する会社です。

サービスサイト：https://service.shiftinc.jp/
コーポレートサイト：https://www.shiftinc.jp/
X（旧Twitter）：https://twitter.com/SHIFT_cp

ご支援業種

製造、金融（銀行・証券・保険・決済）、情報・通信・メディア、流通・EC・運輸、ゲーム・エンターテイメント

など多数

前のページへ

次のページへ

コラム一覧に戻る

AI品質保証とは？

Introduction

AI搭載システムと普通のWebシステムの違い

AI システムのはらむリスク -AIならではの品質保証の必要性-

AI品質保証とは

関連サービスについて

プロジェクトに求められるアクション

SHIFTが提供できるサービス

AIシステムの品質保証ー基本と進め方―

まとめ

この記事を書いた人

関連コラム

関連するサービス

ソフトウェアテスト・第三者検証

品質コンサルティング／品質PMO

AI品質保証とは？

Introduction

AI搭載システムと普通のWebシステムの違い

AI システムのはらむリスク -AIならではの品質保証の必要性-

AI品質保証とは

関連サービスについて

プロジェクトに求められるアクション

SHIFTが提供できるサービス

AIシステムの品質保証ー基本と進め方―

まとめ

この記事を書いた人

関連コラム

関連するサービス

ソフトウェアテスト・ 第三者検証

品質コンサルティング／品質PMO

ソフトウェアテスト・第三者検証