概要 表題の通り、青空文庫データを使って超小規模なGPT(0.1Bくらい)を事前学習してみた。のでその記録である。 Sebastian Raschka 氏の「Build a Large Language Model From Scratch」を土台にして、日本語データ前処理、Hugging Face トークナイザ対応、Ru…