Stand Up and Shout!

勉強したことや、思いついたことを気ままに記述します

大規模言語モデルは新たな知能か

2023年6月20日に『大規模言語モデルは新たな知能か――ChatGPTが変えた世界』が出版されました。

大規模言語モデルは新たな知能か

書評

目標駆動学習を活用して、人間とAIが協力して新しい価値を創造する視点の理解が深まる
目標駆動学習を活用して、人間とAIが協力して新しい価値を創造する視点の理解が深まる

一般向けへの解説を心がけているため、専門家でなくても、この本を読むことで、大規模言語モデルについて深く理解することができます。
AIの言語能力とそれが持つリスクや問題、それらをどう解決するかについて、深くて分かりやすい説明が書かれています。具体的な例を挙げながら、AIがビジネスでどう展開され、デジタル格差をどう解消し、科学研究をどう加速させるかといった多角的な視点から話が進められています。
また、人間とAIがどう共存するか、AIがどんな社会的影響を及ぼすかについても考えられています。AIが人間にどんな問題をもたらすか冷静に見つめつつ、一方で、人間とAIが協力して新しい価値を生み出す可能性にも焦点を当てています。
技術的な部分でも、大規模言語モデルの学習方法や使い方、そしてその限界について具体的に解説されています。特に、大規模言語モデルを上手く使うためのヒントや、目標に向けて学習させる方法について書かれた章は、大規模言語モデルを使いこなすための役立つ情報が満載です。
社会をAIでより良くするための議論や、新しい価値を生み出すためのアイデアを考えるためにも非常に役立つと思います。

マインドマップによる整理


目次の俯瞰(マークダウン形式)

# 大規模言語モデルは新たな知能か ChatGPTが変えた世界
## 序章 チャットGPTがもたらした衝撃
### 登場から二カ月で月間一億人が利用するサービスに
### 大規模言語モデルはこれまでにない汎用サービスを実現する
### 生活や社会を変えうる
### 社会への脅威となりうる
### 言語獲得の謎は解けるのか
### 新しい知能との付き合い方
## 1 大規模言語モデルはどんなことを可能にするだろうか
### 文書の校正・要約・翻訳
### プログラミングのサポート
### ウェブ検索エンジンの上位互換
### 言語を使った作品を作る
### 言語以外を使った作品を作る
### カウンセリング、コーチン
### 学習のサポート
### 高度な専門性が必要な仕事のサポート
### 人にやさしいインターフェース
### 科学研究の加速
### 演繹的なアプローチと帰納的な? ノローチの融合
## 2 巨大なリスクと課題
### 情報の信憑性 -幻覚
### 幻覚の解決は簡単ではない
### 誤った情報の拡散
### プライベートな領域に入り込む
### 価値観や偏見の扱い方
### 本人であることの証明が難しくなる
### 変わる仕事、残る仕事
### AIの補助で仕事の構造が変わっていく
### 大規模言語モデルの開発が一部に独占される
## 3 機械はなぜ人のように話せないのか
### 人は言語をどのように獲得し、運用しているのか
### 私たちは言語をいつのまにか獲得している
### 自然言語処理機械学習
### これまでの機械学習では言語獲得・運用は難しかった
## 4 シャノンの情報理論から大規模言語モデル登場前夜まで
### 意味をなくし確率を使って情報を表わす 革命的だったシ ンの情報理論
### どの文がもっともらしいか 言語モデル
### 言語モデルは言語を生成することができる
### 消された単語を予測することで言語理解の能力を獲得する
### 多様な訓練データをタダでいくらでも入手できる自己教師あり学習
### 問題の背後にある法則やルールを理解できるか 汎化
### 実験結果は言語モデルが意味や構造を理解していることを示唆する
### 言語モデルは文の意味を理解し、かつ文も生成できる
#### コラム 圧縮器としての言語モデル
### データを生成できるモデルの発展
#### コラム 人も言語モデルから学習しているのか
## 5 大規模言語モデルの登場
### 限界への挑戦
### 言語モデルの「べき乗則」の発見
### データと計算力があれば知能が獲得できる
### モデルを大きくすると問題が急に解けるようになる
#### コラム 普遍文法と現在の大規模言語モデル
### 大規模化はどこまで進むのか
#### コラム人の脳とAI
### プロンプトで変わるAIの使い方
### AIを使った開発は誰でもできるようになる
### 人によるフィードバックを与える
## 6 大規模言語モデルはどのように動いているのか
### ニューラルネットワークの進化
### ニューラルネットワークの学習
### 汎化 未知のデータの予測へ
### 誤差逆伝播
### ディープラーニングの登場
#### コラム アレックスネット開発の裏側
### なぜディープラーニングはここまで成功したのか
#### コラム モデルサイズと汎化の謎
### データの流れ方を学習し、短期記憶を実現する注意機構
### 大規模言語モデルを実現したトランスフォーマー
### 指示を受け、その場で適応していく本文中学習
### 人間に寄り添う生成のための目標駆動学習
### チャットGPTでの矯正法
## 終章 人は人以外の知能とどのように付き合うのか
### 道具としての大規模言語モデル
### 間違いもするし、自分と考え方も違う人のように付き合う
### 人はこうしたツールを飼いならせるのか
### コンピュータ将棋、囲碁のケース
### 人間自身の理解へ
## あとがき