Soul Player C64 – Commodore 64上で実行される本物のTransformer

Soul Player C64は、1978年に発売された8ビットコンピュータであるCommodore 64上で実行される実際のTransformerベースの言語モデルです。わずか25,000個のパラメータを持つこのモデルは、現代の大規模言語モデル（GPT-4は1,700億以上のパラメータ）と比較して極めて小規模ですが、Transformerアーキテクチャの基本原理が超小型レガシーデバイスでも機能することを実証しています。

1MHz程度のクロック速度という極限られた計算能力しか持たないCommodore 64で動作することは、機械学習モデルの軽量化とエッジデバイスでの実行可能性を示す重要な事例となります。生成されるテキストは完全ではありませんが、限定されたリソースでも神経網ベースの言語処理が可能であることを示しており、ローパワーデバイスやレガシーシステムでAIを実行する可能性を探索するためのプルーフオブコンセプトとして技術的・理論的な価値があります。