- AI
- YOLO
- Raspberry Pi
- LLM
大乱闘スマッシュブラザーズ SPECIALの1対1を、実機のNintendo Switch 2上でリアルタイムにプレイするAIです。 ゲームの内部情報は使わず、画面映像だけを見て状況を判断し、Bluetoothコントローラーとして操作します。
構成
Switch 2の映像はキャプチャボードでPCに取り込み、認識と判断はPC側で行います。操作は有線LANのUDPでRaspberry Pi 5に送り、NUXBTを使ってProコントローラーとしてSwitch 2に入力しています。
キャラクターの位置は、頭上に表示される「1P」「CP」のタグと、YOLO26で学習したキャラクター検出器を組み合わせて追跡します。タグは試合中に消えることが多いため、タグが見えている場面を自動でラベル化して検出器を学習させ、残りは手作業で修正しました。ダメージなどのHUDはテンプレートマッチで読み取っています。
リアルタイムな技選択
次の技の選択には、TypeSafeのjevをAPI経由で使っています。ただし、jevの応答には往復で約0.5秒かかり、フレーム単位の操作には間に合いません。
そこで、判断を次の3層に分けています。
- 反射層:ローカルで60Hz動作。技の入力や技後の待ち時間など、毎フレームの操作を行う
- 判断層:jevが1秒に2〜3回、次に出す技を選択する
- コーチ層:試合外で、LLMが対戦記録から方針を見直す
最初にスマブラの知識を入れずに動かしてみたところ、遠距離ではNB、近距離では相手の方向に技を出し続ける動きとなりました。
▼ スマブラの知識を入れる前の動き
使用キャラクターのロボットのフレームデータや強い技の知識をプロンプトとして与え、距離をステージ座標で判定するようにしたところ、最初の動画のように技を置いて相手を待つような人間っぽい動きが見られるようになりました。
ただし、キャプチャボードの映像遅延があることと、YOLO26での追加学習を含む技検出の難しさが重なり、まだまだ人間と同じくらい適切な反撃を素早く選択することは難しそうでした。 CPU 9に勝てる日はまだ遠そうです。