概要 表題の通り、青空文庫データを使って超小規模なGPT(0.1Bくらい)を事前学習してみた。のでその記録である。 Sebastian Raschka 氏の「Build a Large Language Model From Scratch」を土台にして、日本語データ前処理、Hugging Face トークナイザ対応、Ru…

最近、仕事でマネージャー業をさせてもらってて、考えていることがある。 それは「早めに小さく失敗をして学ぶ」というのを組織単位で行うにはどうしたら良いかということだ。 人は自分のアウトプットに対する正しいフィードバックを得て初めて学べる。と思…