データから新たな価値を
情報が溢れ、データの蓄積と正しい利用が求められる時代となりました。データから生まれる新たな価値を提供するデータソリューションカンパニーです。
株式会社Spotは、本日運営するAI学習プラットフォーム「DeepAge Sensor」において、独自開発のMuonオプティマイザの提供を開始しました。18データセットで検証した結果、従来のオプティマイザと比較して学習収束を1.2倍〜8.5倍高速化。さらに、学習の難しいデータセットでは最終精度も大幅に向上しました。
Muon(Momentum Orthogonalized Newton)は、勾配のスペクトル情報を活用した新しいタイプの最適化アルゴリズムです。当社では自社のAI学習エンジン向けに独自に実装した「DeepAge Sensor-Muon」を提供しており、Convolutional層の重みに最適に適用する仕組みを実装しています。
従来のSGD(確率的勾配降下法)では勾配方向のみを基準に重み更新を行いますが、Muonは勾配行列を正規化・直交化することで、より安定した更新方向を導き出します。これにより、少ないバッチ数で目標精度に到達する高速な収束が実現します。
18のデータセット(train画像数19〜4,585枚、2クラス分類)で、Muonと従来のオプティマイザの最終精度と収束時間を比較しました。各グラフにおいて、バーが短いほど早く収束したことを示します。
最終精度を「Easy(両方 ≥97%)」「Medium(90%〜97%)」「Hard(<90%)」の3カテゴリで分類しました。

画像数が多い学習のしやすいデータセット群です。13データセットとも最終精度が97%以上で、両オプティマイザとも高精度を達成しています。

中規模のデータセット群です。特に 834 では従来のオプティマイザが50.0%(ランダム相当)にとどまったのに対し、Muonは 97.5% と +47.5% の大幅改善を記録しました。学習が難しいデータセットでMuonの精度向上効果が目立ちます。

train画像数が少なく学習が最も難しいデータセット群です。Muonは 4748 で47.0% → 85.5%(+38.5%)、7188 では59.1% → 76.4%(+17.3%)の改善を達成しました。少ないデータでもMuonがより良い収束を行うことが確認できました。
目標精度に到達するまでのバッチ数を90% / 95% / 99%の3水準で比較しました。バーが短いほど早く収束しています。

90%精度到達で全16データセット(NA除く)でMuonが早く収束。平均約2.5倍高速。

95%精度到達で平均約3.0倍高速。7132・7135では従来のオプティマイザが5000バッチで到達せず、Muonのみが95%を突破しています。

99%精度到達で平均約3.5倍高速。精度閾値が高くなるほどMuonの相対的な高速化効果が顕著になります。
| 指標 | 平均高速化比 | 早く収束した割合(比較可能なデータセットのみ) |
|---|---|---|
| 90%到達 | 約2.5倍 | 16/16(100%) |
| 95%到達 | 約3.0倍 | 14/14(100%) |
| 99%到達 | 約3.5倍 | 12/12(100%) |
精度閾値が高くなるほどMuonの相対的な高速化効果が顕著になります。
今後はMuonオプティマイザのさらなる改善と、より多様なアーキテクチャ・データセットでの検証を進めてまいります。高速な学習収束によって、より多くのハイパーパラメータ探索が可能となり、ユーザーの皆様により高精度なモデルを短時間でご提供できる環境の構築を進めてまいります。
DeepAge Sensorは、Spotが提供するAI学習プラットフォームです。画像認識などのディープラーニングモデルの学習・評価・ファインチューニングをブラウザから簡単に実行できます。
株式会社Spot
| 会社名 | 株式会社Spot(英文表記 : Spot Inc.) |
| 代表 | 吉田 拓真 |
| 本社 | 東京都千代田区二番町9-3 THE BASE 麹町1F |
| 事業内容 | AI技術を利用したサービスの企画・開発・運用 ソフトウェアサービスの企画・開発・運用 |
| 連絡先 | 電話 : 050-3196-8077(受付時間 : 10:00~19:00 土日祝日を除く) e-mail : info@spot-corp.com |
Spotではデータの活用に関するご相談を随時受け付けております。
下のフォームよりお気軽にご相談ください。