生成AIの技術やサービスを理解するために、頻出する用語を自分の学習用にまとめました。
モデルアーキテクチャ関連
MoE（Mixture of Experts）
読み方: ミクスチャー・オブ・エキスパート
意味: 複数の「専門家（Expert）」と呼ばれるサブネットワークを持ち、入力に応じて最適な専門家のみを選択的に活性化させるニューラルネットワークアーキテクチャ。
メリット:
- 全パラメータを常に使用しないため、計算効率が高い
- モデルの総パラメータ数を増やしつつ、推論コストを抑制可能
採用例: Mixtral（Mistral AI）、GPT-4（推定）、Grok
出典: Shazeer et al. (2017) "Outrageously Large Neural Networks"
Transformer
読み方: トランスフォーマー
意味: 2017年にGoogleが発表した、Self-Attention機構を中核とするニューラルネットワークアーキテクチャ。現在のLLMの基盤技術。
特徴:
- 並列処理が可能で学習が高速
- 長い文脈の依存関係を捉えられる
出典: Vaswani et al. (2017) "Attention Is All You Need"
パラメータ数
意味: モデルが学習する重みの総数。一般的にパラメータ数が多いほど表現力が高いが、計算コストも増大する。
目安:
- 7B（70億）: 軽量モデル、ローカル実行可能
- 70B（700億）: 高性能モデル
- 1T以上（1兆以上）: 最大規模モデル（GPT-4など）
推論・思考関連
Reasoning（リーズニング）
読み方: リーズニング
意味: AIが論理的な推論を行う能力。数学の問題解決、論理パズル、因果関係の理解などを含む。
関連技術: Chain-of-Thought、Tree-of-Thought
Chain-of-Thought（CoT）
読み方: チェイン・オブ・ソート
意味: 複雑な問題を解く際に、中間的な推論ステップを明示的に生成させるプロンプト手法。「段階的に考えてください」と指示することで精度が向上する。
出典: Wei et al. (2022) "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models"
Thinking / Extended Thinking
読み方: シンキング / エクステンデッド・シンキング
意味: モデルが回答を生成する前に、内部で思考プロセスを実行する機能。Claude 3.5やo1などで採用。
特徴:
- 複雑な問題で精度が向上
- 思考過程が可視化される場合もある
- 応答時間が長くなるトレードオフあり
System 1 / System 2
意味: 認知心理学に由来する概念。AIにも適用される。
- System 1: 高速・直感的な処理（通常のLLM応答）
- System 2: 低速・熟慮的な処理（Thinking機能、CoTなど）
出典: Daniel Kahneman "Thinking, Fast and Slow" (2011)
学習・ファインチューニング関連
RLHF（Reinforcement Learning from Human Feedback）
読み方: アールエルエイチエフ
意味: 人間のフィードバックを報酬として強化学習を行う手法。モデルの出力を人間の好みに合わせて調整する。
プロセス:
- 人間が複数の回答をランキング
- 報酬モデルを学習
- 報酬モデルを使ってLLMをファインチューニング
出典: Ouyang et al. (2022) "Training language models to follow instructions with human feedback"
Constitutional AI
読み方: コンスティチューショナルAI
意味: Anthropicが開発した手法。AIに「憲法」（原則のセット）を与え、自己批判と修正を通じて安全性を向上させる。
出典: Bai et al. (2022) "Constitutional AI: Harmlessness from AI Feedback"
LoRA（Low-Rank Adaptation）
読み方: ローラ
意味: 大規模モデルの全パラメータを更新せず、低ランクの行列を追加してファインチューニングする手法。計算コストを大幅に削減。
出典: Hu et al. (2021) "LoRA: Low-Rank Adaptation of Large Language Models"
応用・インターフェース関連
RAG（Retrieval-Augmented Generation）
読み方: ラグ
意味: 外部知識ベースから関連情報を検索し、それを元にテキストを生成する手法。モデルの知識を動的に拡張できる。
メリット:
- 最新情報を反映可能
- ハルシネーション（幻覚）を軽減
- 出典を明示できる
出典: Lewis et al. (2020) "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"
Agent / AIエージェント
意味: LLMを核として、ツール使用・計画立案・実行を自律的に行うシステム。
構成要素:
- LLM（推論エンジン）
- ツール（API、検索、コード実行など）
- メモリ（会話履歴、長期記憶）
- 計画機能
MCP（Model Context Protocol）
読み方: エムシーピー
意味: Anthropicが提唱するオープンプロトコル。AIアプリケーションと外部データソース・ツールを標準化された方法で接続する。
評価・品質関連
Hallucination（ハルシネーション）
読み方: ハルシネーション（幻覚）
意味: AIが事実と異なる情報をもっともらしく生成してしまう現象。
対策: RAG、ファクトチェック、温度パラメータの調整
Benchmark（ベンチマーク）
意味: モデルの性能を測定するための標準化されたテスト。
主要ベンチマーク:
- MMLU: 多分野の知識を測定
- HumanEval: コード生成能力
- GSM8K: 数学的推論
- HellaSwag: 常識推論
まとめ
生成AI分野は急速に発展しており、新しい用語が次々と登場しています。この記事は随時更新予定です。
参考リンク:
- arXiv - AI論文のプレプリントサーバー
- Hugging Face - モデル・データセットのハブ
- Anthropic Research
- OpenAI Research
0 件のコメント:
コメントを投稿