2022年11月のChat GPTリリースをきっかけに世界中が生成AIブームに沸いています。Chat GPTは公開2カ月で、ユーザー数1億2300万人を突破しました。
生成AIに対する世の中の関心と熱量は高まるばかりで、これが一過性の”ブーム”に終わらないことは火を見るより明らかです。
過渡期を迎えている生成AIを取り巻く状況ですが、世の中のムードとしては、大きく以下の2つでしょうか。
- 「不安」＝ 生成AIが何かを根底から変えて”しまう”
- 「期待」＝ 生成AIが何かを根底から変えて”くれる”
生成AIが世の中に与えていくインパクトは、今後加速度的に強まっていくことは間違いのないこと。それであれば、「生成AIと共に生きていく」ためにはどうしたらいいか、と思考を転換させた方が賢明です。
今回のコラムでは、Chat GPTをはじめ、生成AIの理解を深めるにあたり、そのコア技術である「LLM（Large Language Models／大規模言語モデル）」について紐解いていきます。同時に、LLMの代表的なラインアップを、海外製・国内製に分けてご紹介していきます。
「LLM（大規模言語モデル）」とは何か？基礎と仕組みを解説
まずは「基礎編」です。
「LLM（Large Language Models／大規模言語モデル）」とは何か？の基本的な説明と、少しわかりやすくするためにLLMを「積み木」に例えて解説してみたいと思います。
LLM（大規模言語モデル）の基礎解説
まずは「LLM（大規模言語モデル）」の基礎となるポイントや、関連ワードを箇条書きでまとめてみます。
LLM（Large Language Models／大規模言語モデル）とは
＜基礎情報＞
- 膨大なデータによる学習とディープラーニング（深層学習）技術を用いて構築された、自然言語処理（NLP：Natural Language Processing）のモデルのひとつ
- 「言語」を生成するAIのコア技術
- LLM（大規模言語モデル）をファインチューニング（微調整）することにより、テキスト分類や感情分析、情報抽出、文章要約、テキスト生成、質問応答などに応用（※ChatGPTは、LLMをチャット（対話）向けにファインチューニングしたもの）
＜LLM（大規模言語モデル）を理解する上での頻出ワード＞
- 「パラメータ数」：LLMを構成するニューラルネットワークの状態を表すもの。数値が高いほど高度なデータ処理が可能。
- 「ニューラルネットワーク」：人間の脳内にある神経細胞（ニューロン）とそのつながり（シナプス）を数式的なモデルで表現したもの
- 「重み」：ニューラルネットワークにおける、入力値の「重要性」や「貢献度」を数値化して表したもの。擬似的に言い換えると、「シナプスの結合強度」。
LLM（大規模言語モデル）を「積み木」に例えてみる
LLMは、どうやって人間からの質問に瞬時にそして流暢に答えているのでしょうか？
よりわかりやすく理解するために、LLMを「積み木」に例えて説明してみますが、お伝えしたいのは下記の2つです。
- 「積み木のパーツ（＝パラメータ）」はたくさんあったほうが選択肢が広がる
- ただし、積み木のパーツの「相性」がよくないとうまく積み上がらない
- 相性の良いパーツ同士を「精度高く組み合わせる」必要がある（＝重み）
具体的に説明します。ぜひイメージしながら読み進めてみてください。
まず、積み木を積むときのことを思い浮かべましょう。たくさんのパーツがあったほうが組み合わせの幅（選択肢）が広がりますよね。
ただしパーツがたくさんあったとしても、組み合わせるパーツ同士の「相性（つまり、接地面のお互いの形やサイズ等）」がよくなければ、積み木は積み上がりません。
このときのパーツ同士の「組み合わせの精度」のことを、LLMにおいては「重み」といいます。
つまり、生成AIは、膨大なデータ（パラメータ数＝積み木のパーツ）の中から、瞬時に最適解（積み木の選択肢）を見つけ、どんどんと文章を生成していきます。「次の単語を予測して繋げていく」ということを人智の及ばない超高速で回しているわけです。
なお、LLMのバージョンが上がるごとに「データ量（パラメータ数）」と「重みの精度」が向上し、「単語・フレーズのつながる確率」が飛躍的に向上していきます。
結果、相手の言っていることを文脈含め理解し、一問一答ではない「より人間らしい会話」が可能になってくるのです。
LLMとChatGPTの関係
この項では「LLMとChat GPTの関係」を紐解きますが、まずは、Chat GPTの運営会社である「OpenAI」の成り立ちからご紹介します。
OpenAI社の成り立ちとミッション
Chat GPTの生みの親である「OpenAI」社はどのようにできた企業なのでしょう。そして、何を目指している組織なのでしょうか？
Chat GPTは、単なるいちAIベンダーではなく、超壮大な計画から生まれている企業です。
2015年に以下のメンバーが中心となり設立されました。
- イーロン・マスク（テスラ CEO）
- サム・アルトマン（OpenAI CEO)
- イルヤ・サツキヴァー（AI研究者）
- グレック・ブロックマン（AI研究者）
組織のミッションは「人類全体に利益をもたらす汎用人工知能を普及・発展させること」。
彼らが目指しているのは、「企業の業務改善」といった狭義なDXの話などではなく、「人類全体の利益をAIによってもたらすこと」というSFのような世界観です。
また「OpenAI」という社名には、「開発したAI技術を隠さずに公開する」というメッセージが込められているそうです。
このことからも、”人類全体に利益をもたらすために”、生成AIやLLMといった世の中を変えるテクノロジーを自分たちだけが享受もしくはコントロールすることなく、世の中に広く解放し、誰しもにメリットがある形にしたい、という想いが感じ取れます。
AGI（Artificial General Intelligence／汎用人工知能）計画
OpenAIは「AGI（Artificial General Intelligence／汎用人工知能）計画」というものを掲げており、2023年3月には、CEOのサム・アルトマンが「AGI計画実現への短期および長期のロードマップ」を発表しています。
AGI計画とは
AGI（Artificial General Intelligence／汎用人工知能）計画とは、簡潔にいうと下記です。
人間と同レベルの学習能力・知能を持つAIを開発し、世界経済・科学技術の発展や人間の創造性に寄与すること、ひいては、AGIが全人類に利益をもたらすことを確実にすることを目的とした計画。
（出典：NHK教養番組「漫画家イエナガの複雑社会を超定義」より）
そして、サム・アルトマンが発表した短期ロードマップおよび長期展望が下記。
＜短期ロードマップ＞
- AIモデルの現実世界への展開では、ユーザーとユースケースを注意深く監視し、維持する
- AIモデルの展開で、「初期設定」は制限し、各ユーザーによる調整を可能にしていく
- システムの管理方法、システムが生み出す利益を分配する方法、システムへのアクセスを公平に共有する方法、という3つの問題についてグローバルな対話が必要
＜長期展望＞
- 大きな変化が驚くほど早く起こる可能性がある。
- 世界は現在とは大きく変わる可能性があり、そのリスクは計り知れない。世界に深刻な害を及ぼす可能性がある。
- そのため、「重要な分岐点で減速する調整が重要」で、人間社会がAGIに対して「適応するための十分な時間」が与えられることが重要。
- AGI構築については公開協議が必要。
- 人類の未来は人類が決定すべき。
SF映画の世界のセリフと思えますが、これが今まさにAI業界の最先端で起こっている事象です。シンギュラリティ（AIが人類の知能を超える技術的特異点）は研究者の想定より遥か手前で起こるかもしれません。
AGIの完成に必要な3つのピース
話が変わりますが、AGIの完成に必要なピースは以下の3つと言われています。
- 言語
- 音声
- 映像
現在の生成AIツールはLLMという基盤モデルを用いて、まず「言語」からスタートし、現在爆速で進化をしている最中です。
今後はこれに「音声」と「映像」のデータが加わることで、より高性能な生成AIが生まれてきます。
Chat GPTをはじめとする、”言語型”の生成AIに我々は度肝を抜かれていますが、生成AIはまだまだ進化の途中なのです。
GPTの進化
2022年11月、一般ユーザー向けに「Chat GPT」がリリースされました。
（※「GPT」は「Generative Pre-trained Transformer」の略）
この生成AIツールの裏側にあるのが、LLM「GPT-3.5」ですが、GPT3.5に至るまでに、すでに何段階かの進化を遂げてきています。
以下、モデル名称と、LLMを語る上で大切なワードである「パラメータ数」を記載します。
| LLMモデル名 | パラメーター数 |
| GPT-1 | 1億7500万 |
| GPT-2 | 15億4200万 |
| GPT-3 | 1,750億 |
| GPT-3.5 | 3,550億 |
| GPT-4（2023年4月リリース） | 100兆？ |
（出典：NHK教養番組「漫画家イエナガの複雑社会を超定義」より）
※GPT-3.5は、GPT-3に会話データを学習させ、倫理上問題となる文章を作成しないよう設定されました。
一目瞭然ですが、パラメータ数の増加が顕著です。ChatGPTは無料版はGPT-3.5、有料版はGPT-4ですので、回答精度に差が生じるのも納得です。
「パラメータ数の増加」により、高度な人間らしい会話が可能になっていることは間違いありません。この進化によりユーザー体験も飛躍的に高まり、Chat GPTの利用シーンは以下のように広がっています。
- 文章要約
- 議事録
- ビジネスアイデア
- 脚本
- 作詞
- レシピ
- プログラミング（コーディング）
今後もさらに広まっていくでしょう。
なお、直近のLLM開発では、単にパラメータ数を増やすのではなく、学習データのクオリティを高めていこうというアプローチも出てきています。後編では個別LLMの紹介でも、そのような事例がでてきます！後編もぜひご覧ください。