Chat GPTやCopilotの根幹にあるAIモデル
→GPT(Generate pretrained Transformer)
＝大規模言語モデル(AIモデルが学習中に最適化する必要のある変数が膨大な言語モデル)
→ネット上の膨大な情報から取得･穴埋め問題形式で学習
→鍵となる技術のTransformerで単語同士の関係性を正確に把握
→注意機構という仕組みで単語同士の関連性の高さを計算、
出力すべき次の単語を予測
⇔従来の自然言語処理技術のRNNやLSTMは長文で性能低下、
計算コスト増大で大規模化が困難だった
スケーリングの法則＝モデルの規模･データ数･計算量などを大きくするほど性能が上がる
→大規模言語モデルのAI開発では、お金をかけて大量のデータを学習
モデルを大規模化することがAI開発で重要
⇔従来のAIの過学習による凡化性能の現象に反する
GPTのファイングチューニング(出力内容が公序良俗に反しないよう微調整)
1.教師あり学習で人がGPTを教育(質問と回答セットを事前に準備)
⇔教師なし学習:ex.ネット上の膨大な情報から取得･穴埋め問題形式で学習
2.報酬モデル(GTPの教師役として使用するAI)の作成
GPTの出力内容に人がスコア付け→報酬モデルにスコアを学習させる
3.強化学習
GPTの出力内容に報酬モデルがフィードバック→その内容をGPTが繰り返し学習
プロンプトへの記号･変数の使用
# :プロンプトを項目ごとに分ける
- :箇条書きで単語や文章を列挙する
{}:#の項目を指し示したい場合に変数参照を行う
→学習しているインターネット情報にはプログラミングや記号も含まれるため、
理解できる
ハルシネーション：AIが嘘の情報を出力する現象
→学習したインターネット情報に誤りがある、
or 文章生成AIはあくまで単語予測に過ぎず学習していない情報に対しては
嘘を出力することもあり得るため。
入力した内容は学習される。
※ChatGPTでオプトアウトを使用しても、OpenAIのサーバーに30日間
保存された後に削除される仕組み
→第三者に情報が渡らないわけではないため、
個人･機密情報は入力しない方がよい
GPT-4の機能
Advanced Data Analysis：高度なデータ分析やグラフ作成が可能
→Pythonを実行できる環境が内部に備わっているため
GPT-4との違い
・Google「Gemini」：Googleサービスと連携可能
・Anthropic「Cloude」：より自然な日本語出力、複雑なプロンプトが理解可能、
ただし画像生成機能、ブラウジング機能は無し
・Perplexity AI「Perplexity」：検索に特化、Copilotよりも取得する情報範囲が広い
