290B級AIをゲーミングPCでローカル実行？「FreeToken」が目指す新しいローカルAI

ここ最近、自分のパソコン上で生成AIを動かす「ローカルAI」が急速に身近になってきました。

これまでは数十億～数百億パラメータ程度のモデルをPCで動かす例が中心でしたが、さらに大規模なAIモデルを一般的なハードウェアで利用するための技術も登場しています。

2026年8月17日に公開された研究「FreeToken」は、その一つです。

FreeTokenは、大規模なオープンウェイトAIモデルをデータセンターではなく、ノートPCやゲーミングPC、ワークステーションなどで動かすことを目的とした推論エンジンです。

研究チームの検証では、ゲーミングデスクトップで284B規模のモデル、さらにワークステーションでは753B規模のモデルを動作させたと報告されています。

● FreeTokenとは？

FreeTokenは、「Mixture of Experts（MoE）」と呼ばれる構造を持つAIモデルを効率よく実行するために開発されたソフトウェアです。

大規模なAIモデルは通常、大量のGPUメモリを必要とします。

そのため、数百B（数千億）パラメータ規模のモデルとなると、高価なGPUを複数搭載したサーバーやデータセンターで動かすことが一般的でした。

FreeTokenでは、GPUだけですべてを処理するのではなく、GPU、CPU、メインメモリ、PCI Expressなど、PCに搭載されている複数のリソースを組み合わせてAIモデルを実行します。

「GPUメモリにモデル全体が入らないなら使えない」という考え方ではなく、PC全体を一つのAI実行環境として扱うことが特徴です。

● MoEだから巨大モデルを動かしやすい

FreeTokenを理解するうえで重要なのが「MoE」という仕組みです。

一般的なAIモデルでは、入力を処理する際にモデル内の多くのパラメータを利用します。

一方、MoEではモデル内部に複数の「Expert」と呼ばれる処理部分を用意し、入力内容に応じて必要なExpertだけを選択して利用します。

例えば、モデル全体では数千億パラメータを持っていたとしても、1回の推論ですべてを同時に計算するとは限りません。

この特徴を利用し、必要なExpertを高速なGPUメモリへ配置し、それ以外をメインメモリ側へ置くことで、GPUメモリ容量を超える巨大モデルを扱いやすくします。

● CPUとGPUを状況に応じて使い分ける

巨大なAIモデルをPCで動かす方法としては、モデルの一部をGPUに置き、残りをCPU側のメモリへ逃がす「オフロード」が以前から利用されています。

ただし、CPUとGPUの間で頻繁にデータを転送すると、その通信速度がボトルネックになります。

FreeTokenでは、PCごとのCPU性能やメモリ帯域、GPU、PCI Expressの転送速度などを考慮しながら、どの処理をCPUで行い、どの処理をGPUへ送るかを動的に調整します。

単純に「GPUに入らないものをCPUへ移す」のではなく、そのPCでどの方法が速いのかを判断しながら処理する仕組みです。

同じAIモデルでも、搭載されているCPUやGPU、メモリ速度によって最適な実行方法は変わります。

FreeTokenは、こうしたPCごとの違いに合わせて処理方法を変えることを重視しています。

● 8GB GPUのノートPCでも利用を想定

研究では、さまざまな性能のPCでFreeTokenが検証されています。

対象には、GPUメモリ8GBのノートPCから、一般的なゲーミングデスクトップ、高性能なワークステーションまで含まれています。

論文では、8GB GPUを搭載したノートPCで35B規模のモデル、ゲーミングデスクトップでは284B規模のモデル、さらにワークステーションでは753B規模のGLM-5.2を実行できたと報告されています。

ただし、「モデルを読み込んで動かせる」ことと、「クラウドAIと同じ速度で快適に使える」ことは別の話です。

モデルの大きさや量子化方式、PCのメモリ容量、CPUとGPUの組み合わせなどによって、生成速度は大きく変わります。

そのため、「普通のPCですべての巨大AIが高速に動くようになった」と考えるのはまだ早そうです。

● AIエージェントを意識した仕組みも

FreeTokenは、単純なチャットだけでなく、AIエージェントでの利用も意識して設計されています。

最近のAIエージェントは、文章を生成するだけではありません。

• ソースコードを読む
• ファイルを編集する
• 外部ツールを呼び出す
• 実行結果を確認する
• 再び考えて次の操作を行う

といった処理を繰り返します。

このような使い方では、それまでの長い会話や処理内容を何度もAIへ読み込ませる必要があり、計算量も大きくなります。

FreeTokenでは過去の処理状態をキャッシュし、会話内容の一部が変わった場合でも、できるだけ同じ計算をやり直さない仕組みが導入されています。

ローカルAIを単なるチャットボットとしてではなく、「PC上で動くAIエージェント」として利用することも想定しているようです。

● CodexやClaude Codeなどとの接続も想定

FreeTokenは、OpenAI APIやAnthropic APIと互換性のあるインターフェースを提供しています。

そのため、対応するAIモデルをFreeTokenでローカル実行しながら、CodexやClaude Code、OpenCodeなどのAIコーディングツールから接続するといった使い方も想定されています。

普段使っているAIツールの操作方法はそのままに、実際の推論だけを自分のPCで行う環境を構築できる可能性があります。

ソースコードや社内データを外部のAIサービスへ送信したくない場合には、こうしたローカル環境が選択肢の一つになるかもしれません。

● 対応モデルは20種類以上

公開されているFreeTokenは、20種類以上のMoEモデルをサポートするとしています。

対応モデルには、Qwen系やDeepSeek系、GLM系など、大規模なオープンウェイトモデルが含まれています。

また、FP8やBF16だけでなく、NVFP4などモデルを小さく保持するための形式にも対応しています。

数百B規模のモデルを一般的なPCで扱うには、モデルそのものの容量を抑える技術も重要になります。

● 誰でもすぐ使えるわけではない

FreeTokenは興味深い技術ですが、現時点では注意点もあります。

現在公開されているCLI版の動作環境では、Linuxのx86_64環境とNVIDIA GPUが基本的な要件となっており、CUDA環境の準備も必要です。

また、大きなモデルを利用するには、GPUメモリだけではなく大量のメインメモリやモデルデータを保存するストレージも必要になります。

例えば「284BモデルがゲーミングPCで動く」という部分だけを見ると非常に手軽に感じますが、一般的なゲームを動かす場合とは必要なメモリ構成などが大きく異なる可能性があります。

さらに、今回紹介されている性能値はFreeTokenを開発した研究チーム自身による検証結果です。

今後、さまざまなPC構成で第三者による検証が進むことで、実際にどの程度実用的なのかがより分かってくるでしょう。

● 「VRAMの大きさ」だけで決まらないローカルAIへ

ローカルAIではこれまで、「どれだけ大容量のGPUメモリを搭載しているか」が非常に重要でした。

モデルがVRAMに入らなければ、CPU側へオフロードすることで大きく速度が低下することもありました。

FreeTokenが興味深いのは、その制約を単純に高価なGPUで解決するのではなく、CPU、GPU、メインメモリ、データ転送をまとめて最適化しようとしている点です。

最近は大規模なMoEモデルが次々と公開されていますが、モデルが公開されても、それを個人が実際に動かせなければローカルAIとして利用することはできません。

今後FreeTokenのような推論技術が発展すれば、「どれだけ大きなGPUを持っているか」だけではなく、「PC全体の性能をどれだけ効率よくAIに使えるか」が重要になっていくのかもしれません。

クラウドでしか利用できないと思われていた規模のAIモデルが、少しずつ個人のPCへ近づいてきています。

大規模AIを本当に日常的な速度で動かせるようになるのか、今後のローカルAI技術にも注目したいところです。

水曜担当：Tanaka