長期休暇とその前にやっていたことの性質でいろんな仕事の記憶が頭からリセットされつつあるので、これを機にTransformerとGPT-2のつくりについて書いた本を読み始めた。大学数学はそんなにしっかりやれていないし機械学習もにわかのままきてしまったが、このままではあと何十年やっていくにはギャップがあるだろうなあとも思う。いまのところはLLMの仕組みを学ぶこととLLMの活用はわりと独立してもできて、そして研究が進むにつれてそのレイヤーの差が明確になっていくとも思うが、一般化して下のレイヤーを知っておくと何かあった時にお得、というのは今も昔も変わらないのではないか。たまにくるお得のために、普段どれだけ準備できているか、うーむ難しいよね