松木晋祐のレビュー一覧

生成AIアプリケーション評価入門

松木晋祐

生成AIアプリケーション評価入門
著：松木 晋祐
出版社：技術評論社

IT社会にインパクトをもたらしてきた幾多の波

　1990's インターネット
　2008 モバイル
　2010 クラウド
　2020 生成ＡＩ

生成ＡＩは、ＩＴ業界のみならず、他の産業界をも巻き込んで社会の再定義が進められている

期待したのは、ＡＩ駆動開発での成果物の評価であったが、ＡＩアプリケーションそのもの話題が中心でした。

気になったのは、以下です。

■生成ＡＩアプリの特徴と、評価の必要性
　①確率的出力
　②ブラックボックス的な内部処理
　③文脈依存性、ダイナミックな挙動
出力の質や倫理性、安全性、ユーザ体験全体を評価する必要がある
　・テスト
　・評価
NIST/TEVV という手法で、テスト・評価する

■生成ＡＩアプリの構造
　
　①生成ＡＩアプリケーション層　ＵＩ，ＡＰＩ，フロー管理
　②出力調整層　ガードレール、出力検証
　③アプリケーション定義層　外部データとの連携、ＲＡＧ／ＭＣＰ
　④チューニング層　パラメタ調整、訓練
　⑤基盤モデル層　ＬＬＭ、画像生成モデル
　⑥基盤アプリケーション層　基盤技術、ホスティング、クラウド

■生成ＡＩアプリケーション　品質モデル

ISO/IEC25059:2023 ＡＩシステムの製品品質モデル

　機能適合性　
　性能効率性
　互換性
　使用性
　信頼性
　セキュリティ
　保守性
　移植性

　加えて利用時の品質モデルも定義

　有効性
　効率性
　満足性
　リスク回避性
　利用状況網羅性

■生成ＡＩアプリの基盤評価モデル

　生成テキスト
　セキュリティ
　タスクの固有指標
　　・要約タスク
　　・翻訳タスク
　　・対話型アシスタント
　　・クリエイティブ生成（詩・物語性）
　法令・規制への準拠

　ブログラムコード生成ツール
　　・コードの動作性、実行可能性
　　・コードの読みやすさ、保守のしやすさ
　　・セキュリティ　脆弱性の解消、安全に動作

■評価環境・ツール

　Ollama
DeepEval
Google Colab
G-Eval

pytest フレームワーク

■生成ＡＩアプリのセキュリティ評価

　OWASP LLM2025 Top10
ConfidentAI/ LLMレッドチームフレームワーク DeepTeam

■ＡＩエージェントのパターンと評価

ＡＩエージェントには、シングルエージェント型と、マルチエージェント型の２つがある

　シングルエージェント型
　・ReAct/RAISE 思考（推論）と行動（ツール実行）を交互にすすめる
　・Reflexion

　マルチエージェント型
　　垂直型
　　オーケストレーター／マネージャーワーカー型

　ＡＩエージェント評価ツール　DeepEval
ツールの正確性
　　ツール効率
　　エージェントのワークフローのタスク完了の評価

　プロパティベースドテスト
　　構文・契約
　　意味・文脈の一貫性
　　安全性・倫理性
　　安定性・再現性
　　応答の効率性・制約遵守

■ＡＩ駆動開発（仕様駆動開発：ＳＤＤ）のテスト

　　セキュリティテスト
　　　入力検証、認証処理、エラーハンドリング
　　保守性・信頼性
　　　コードベース全体の保守コスト
　　堅牢性の不足
　　　正常な動作パターン
　　　例外処理
　　　エラー分岐への配慮

目次

はじめに

第1章 生成AIアプリケーションの評価の概要

1.1 生成AI アプリケーションの特徴と評価の必要性
1.2 生成AI アプリケーションの基本的な構造モデルと評価プロセスモデル
1.3 開発ライフサイクルにおける生成AI アプリケーションの評価アプローチ
1.4 まとめ

第2章 生成AIアプリケーションの評価基盤モデルと評価アプローチ

2.1 生成AI アプリケーションの品質モデル
2.2 機械学習利用システムの外部品質特性レベル
2.3 品質モデルとテストタイプを組み合わせて
2.4 生成AI アプリケーションの基盤評価モデル
2.5 評価観点基盤モデルにもとづく製品独自の評価観点モデルの構築とメトリクス設計
2.6 生成AI アプリケーション開発における開発チームとQA チームの役割分担の例
2.7 まとめ

第3章 基本的な評価メトリクス

3.1 混同行列にもとづくメトリクス
3.2 検索・RAG 向けの基本的なメトリクス
3.3 生成テキストの内容一致の基本的なメトリクス
3.4 各メトリクスを実際に運用する
3.5 まとめ

第4章 評価メトリクスのツールによる評価の実際

4.1 LLMを評価者として利用する「LLM-as-a-Judge」
4.2 メトリクスの評価環境の構築
4.3 評価の実行
4.4 pytestと統合した利用
4.5 まとめ

第5章 生成AIアプリケーションのセキュリティ評価

5.1 OWASP LLMとは
5.2 OWASP LLM2025
5.3 生成AI・LLMのセキュリティテスト・レッドチーミング
5.4 まとめ

第6章 AIエージェントの評価

6.1 AI エージェントとは
6.2 AIエージェントのパターンと構造・評価観点の例
6.3 AIエージェントの評価メトリクス
6.4 まとめ

第7章 生成AIアプリケーションのテスト・評価のその他のトピック

7.1 プロパティベースドテスト
7.2 画像分析型の生成AI アプリケーションの評価
7.3 AI 駆動開発のテスト・QA

参考文献
おわりに
索引
著者プロファイル

ISBN：9784297156145
判型：A5
ページ数：184ページ
定価：2400円（本体）
2026年05月13日初版第１刷発行

生成AIアプリケーション評価入門

松木晋祐

品質モデルの解説、分類・検索/RAG・生成テキストの内容一致などの評価、LLM-as-a-Judge、エージェントの評価軸の紹介など、いくつかの観点から生成AIアプリケーションの評価について書かれている。
実用に足る具体的な評価方法が記述されているとよりよい。