AIとソフトウェアテスト 信頼できるシステムを構築するために
他著：Adam Leon Smith
他著：Rex Black
他著：James Harold Davenport
出版社：インプレス
本書は、ＡＩと品質に関するトピックをめぐる書とあります。
ＡＩシステムの生成した、仕様書やプログラムコードは本当に信頼に値するものなのか、その保証を求めるために本書を購入したが答えはなかった。ＡＩが生成した成果物の妥当性と、ＡＩ駆動開発が生み出したシステム全体を担保する基準は決して同じではないとおもいますが、同じものを入力しても、時として別のコードを生成するＡＩについては、何を基準にすればいいのか、頭が混乱する一方である。
オントロジ―という概念があり、ＡＩに適用している内容を見る限り、これまでのＩＴのアプローチとは明らかに区別がしたいのだというのは伝わってきた
コンテキスト
アクティビティ
手法
成果物
環境
テストプロセス
テストフェーズ
リソース
手順 等々、旧来のテストと見た目あまり変わらないと感じるが、その生成プロセスがことなっているのでしょうか。
一方、機械学習を含めて、学習したＡＩシステムに対する信頼性は。こちらは、USAや、EUにある程度のガイドラインがありました。
顧客にAI駆動開発の成果物を納品し、また、受け入れを行う場合に何をもって、発注したものと、相違ないことを確認できるのでしょうか。
ほしいのは、クライアントから、「AI駆動で生成した方法論・ドキュメントを確認した。ここの内容であれば、問題はない。発注しよう」ということばであり、納品物をみて、「AI駆動で生成した成果物を確認した。ここの内容であれば、問題はない。検収しよう」というひとことなのですか。
気になったのは、以下です。
信用できるＡＩなのかどうかのガイドライン
米国立標準技術研究所(NIST)の2020年米国防授権法(NDAA)のガイドラインに合致しているかどうか
ＡＩの品質に関する問題事項
①仕様のない自動化
②不確かな回答、どうやったらその答えが正しいかどうかを判断できるのか
③入力の複雑さ
④システムの複雑さ
⑤自己最適化、システムがどのように最適化をするのか 等
ＡＩの品質測定モデル
タイプⅠエラー キリンなのに、猫と認識している、擬陽性問題
タイプⅡエラー 猫なのに、キリンと認識している、偽陰性問題
ＡＩの品質規制
①一般データ保護規制(GDPR:2016)
②EUのAI規制(2024)
③国際ソフトウェアテスト資格認定委員会(ISTQB:2021)
機械学習システムのテスト
ホワイトボックステスト ×
ブラックボックステスト 〇
テストレベル
ユニットテスト(UT)
コンポーネントテスト
統合テスト（IT)
システムテスト（ST）
受入テスト（UAT)
モデルテスト
入力データテスト この２つはＡＩ固有
テスト技術
ペアワイズテスト 入力のペアをつくって操作する
メタモルフィックステスト 以前のテストの実行結果をつかって新しいテストケースを作り出す
敵対的テスト モデル脆弱性を、侵入チームがチェックする
バックツーバックテスト 並列テスト、差分テスト
リグレッションテスト（回帰テスト）デグレードがおきていないかのチェック
モックの利用
テスト駆動開発
・コードは書くよりも読む機会のほうが１０倍多い⇒ 読みやすさの追及
・ユニットテスト生成
ＵＩテストの自動化
・テスト実行の並列化
・テストの優先順位付け
・モンキーテスト ランダム入力
・ファズテスト 乱数
・ビジュアルテスト
バグの管理
異常検知
オントロジー駆動型ソフトウェアテスト
・Ｗｅｂサービスオントロジー
・Ｏｎｔｏ Ｔｅｓｔ オントロジー
・ソフトウェアテストオントロジー
・ソフトウェアテストオントロジーの参照オントロジー
・ＡＩ－Ｔオントロジー
品質保証を支援するための概念モデルを使う
目次
本書の注記／本書情報及び正誤表のＷｅｂページ
推薦のことば
図表一覧
略語
用語
序文
翻訳・監修者まえがき
第1章 イントロダクション《Adam Leon Smith》
1-1 AIテストの課題
1-2 まとめ
第2章 信用できるAIと品質《Adam Leon Smith》
2-1 AIに対する信用
2-2 AIの品質問題
2-3 AIソフトウェアの品質測定モデル
2-4 AIの品質規制
2-5 まとめ
第3章 品質とバイアス《James Harold Davenport》
3-1 バイアス定義の推論と帰結
3-2 日常生活におけるバイアス
3-3 意図しないバイアス
3-4 シンプソンのパラドックス
3-5 まとめ
第4章 機械学習システムのテスト《Adam Leon Smith》
4-1 テスト担当者の役割
4-2 MLの性質
4-3 テストのメトリクス
4-4 テスト技術
4-5 AI固有の特性をテストする
4-6 非決定論的システム
4-7 透明性、説明可能性、解釈可能性
4-8 まとめ
第5章 AIベースのテストの自動化《Jeremias Rößler》
5-1 品質保証
5-2 マニュアルテストと自動テスト
5-3 ユニットテストの自動化
5-4 UIレベルのテストの自動化
5-5 ソフトウェア品質保証における他のタスクへのAIの適用
5-6 テスト支援ツールの評価
5-7 AIにとって今後も困難が予想される課題
5-8 まとめ
第6章 ソフトウェアテストのオントロジー《Joanna Isabelle Olszewska》
6-1 オントロジーについて
6-2 オントロジーとAI
6-3 ソフトウェアテストのためのオントロジー利用
6-4 オントロジー駆動のソフトウェアテスト動向
6-5 まとめ
第7章 デジタルツインのメタバースにおけるシフトライトテスト《Jonathon Wright》
7-1 テストのシフトライトアプローチ
7-2 コグニティブエンジニアリング原理
7-3 シフトライトにおけるデジタルツインコンセプト
7-4 ［ケーススタディ］パンデミック時に地域社会の安全を支援する
7-5 ［ ケーススタディ］スマートシティのデータ交換――メタバースにおけるテスト
7-6 メタバースへの移行
7-7 革命より進化
7-8 まとめ
翻訳・監修者あとがき
著者紹介
原書発行元のＢＣＳについて
翻訳・監修者紹介
参考文献
索引
ISBN：9784295021445
判型：A5
ページ数：232ページ
定価：2800円（本体）
2025年11月21日初版発行
