7月24日（水）、京都大学大学院情報学研究科村脇有吾准教授に「確率的言語モデル入門」というテーマで講座をしていただき、中学生を含め74名が参加しました。
はじめに、ChatGPTについて紹介がありました。その特徴は、言葉で尋ねると自然な言葉(テキスト)で返してくれることにあり、さらに翻訳もできるしプログラムも作成できるということです。
前半は、テキストを作成する確率的言語モデルのしくみについて解説がありました。言葉の列から次の言葉を対応させる関数の原理でテキストを作成しており、条件つき確率と乱数が使われていることがわかりました。特にNグラム言語モデルは、意外にもシンプルな数学的原理で作られていることに驚きました。
後半は、ニューラルネットによる確率的言語モデルの構成についての解説でした。こちらは正直難しく感じましたが、とにかくモデルと訓練用テキストの大規模化が高性能化のポイントであるという話でした。
最後に応用として、ステガノグラフィ(情報隠し)とウォータマーキング(透かし)について紹介がありました。最近、注目が集まっている生成AIについての入門講座ということもあって、質問がとてもたくさん上がりました。数学がいろいろな形で活用されていることがわかり、とても充実した時間となりました。