DeepAge SensorにMuonオプティマイザを提供開始、学習収束を最大8.5倍高速化し精度も向上
株式会社Spotは、本日運営するAI学習プラットフォーム「DeepAge Sensor」において、独自開発のMuonオプティマイザの提供を開始しました。18データセットで検証した結果、従来のオプティマイザと比較して学習収束を1.2倍〜8.5倍高速化。さらに、学習の難しいデータセットでは最終精度も大幅に向上しました。
Muonオプティマイザとは
Muon（Momentum Orthogonalized Newton）は、勾配のスペクトル情報を活用した新しいタイプの最適化アルゴリズムです。当社では自社のAI学習エンジン向けに独自に実装した「DeepAge Sensor-Muon」を提供しており、Convolutional層の重みに最適に適用する仕組みを実装しています。
従来のSGD（確率的勾配降下法）では勾配方向のみを基準に重み更新を行いますが、Muonは勾配行列を正規化・直交化することで、より安定した更新方向を導き出します。これにより、少ないバッチ数で目標精度に到達する高速な収束が実現します。
検証結果
18のデータセット（train画像数19〜4,585枚、2クラス分類）で、Muonと従来のオプティマイザの最終精度と収束時間を比較しました。各グラフにおいて、バーが短いほど早く収束したことを示します。
最終精度
最終精度を「Easy（両方 ≥97%）」「Medium（90%〜97%）」「Hard（＜90%）」の3カテゴリで分類しました。
Easy データセット（両方 ≥97%）
画像数が多い学習のしやすいデータセット群です。13データセットとも最終精度が97%以上で、両オプティマイザとも高精度を達成しています。
Medium データセット（90%〜97%）
中規模のデータセット群です。特に 834 では従来のオプティマイザが50.0%（ランダム相当）にとどまったのに対し、Muonは 97.5% と +47.5% の大幅改善を記録しました。学習が難しいデータセットでMuonの精度向上効果が目立ちます。
Hard データセット（＜90%）
train画像数が少なく学習が最も難しいデータセット群です。Muonは 4748 で47.0% → 85.5%（+38.5%）、7188 では59.1% → 76.4%（+17.3%）の改善を達成しました。少ないデータでもMuonがより良い収束を行うことが確認できました。
収束時間
目標精度に到達するまでのバッチ数を90% / 95% / 99%の3水準で比較しました。バーが短いほど早く収束しています。
90% 到達
90%精度到達で全16データセット（NA除く）でMuonが早く収束。平均約2.5倍高速。
95% 到達
95%精度到達で平均約3.0倍高速。7132・7135では従来のオプティマイザが5000バッチで到達せず、Muonのみが95%を突破しています。
99% 到達
99%精度到達で平均約3.5倍高速。精度閾値が高くなるほどMuonの相対的な高速化効果が顕著になります。
総合集計
| 指標 | 平均高速化比 | 早く収束した割合（比較可能なデータセットのみ） |
|---|---|---|
| 90%到達 | 約2.5倍 | 16/16（100%） |
| 95%到達 | 約3.0倍 | 14/14（100%） |
| 99%到達 | 約3.5倍 | 12/12（100%） |
精度閾値が高くなるほどMuonの相対的な高速化効果が顕著になります。
今後の展望
今後はMuonオプティマイザのさらなる改善と、より多様なアーキテクチャ・データセットでの検証を進めてまいります。高速な学習収束によって、より多くのハイパーパラメータ探索が可能となり、ユーザーの皆様により高精度なモデルを短時間でご提供できる環境の構築を進めてまいります。
DeepAge Sensorについて
DeepAge Sensorは、Spotが提供するAI学習プラットフォームです。画像認識などのディープラーニングモデルの学習・評価・ファインチューニングをブラウザから簡単に実行できます。
問い合わせ先
株式会社Spot
- 電話：050-3196-8077（受付時間：10:00~19:00 土日祝日を除く）
- メール：info@spot-corp.com