Nemotron 3 UltraとDGX Station：ローカルLLMをメモリ・速度・運用費で評価する
【国際・海外企業】連載・AI・イノベ米国【科学・AI】【科学・半導体】
#AI・イノベ#ローカルLLM#NVIDIA#AppleSilicon
Nemotron 3 UltraとDGX Station：ローカルLLMをメモリ・速度・運用費で評価する
NVIDIA技術記事を2026年9月22日に確認。
NVIDIAの6月4日技術記事で550B/active55B、PinchBench91%、比較対象を限った5倍スループット、特定ベンチで最大30%コスト減を確認。
DGX仕様は公式製品ページ。
Mac実機測定と同条件比較は行っておらず、価格差による推奨や実行保証を撤回。
公式に確認できるモデルと機器
NVIDIAの2026年6月4日技術記事によると、Nemotron 3 Ultraは総パラメータ550B、推論時の活性パラメータ55BのMoEモデルで、長時間のエージェント処理を想定している。
PinchBench91%、同クラスのオープンモデル比で5倍のスループット、特定のコーディング評価で最大30%のタスク完了コスト削減は、同社が示した比較条件での主張である。
全ての業務や機器で同じ差が出るという意味ではない。
DGX Station公式ページは、GB300、合計748GBのコヒーレントメモリ、最大20PFLOPSのFP4演算を掲げる。
メモリ内訳は496GBのLPDDR5Xと252GBのHBM3eで、合計容量だけでなく速度の違いを考慮する必要がある。
「モデルが入る」と「業務で使える」は分ける
| 評価軸 | 確認する内容 | 見落とすと起きること |
|---|---|---|
| 重み容量 | パラメータ数・量子化形式・実ファイル容量 | 公称メモリだけで搭載可能と誤認 |
| 実行時メモリ | KVキャッシュ、文脈長、同時接続、OS予約領域 | 長い入力や複数利用者で不足 |
| 速度 | 入力処理と出力生成、待ち時間の分布 | 短文の生成速度だけで実務性能を誤認 |
| 互換性 | モデル形式、推論エンジン、GPU、量子化カーネル | 重みが入っても実行できない |
| 品質 | 自社タスクでの正答率・手戻り・引用精度 | 安価でも検算や修正工数が増える |
4bitの重みだけを理想的に計算すれば、5500億パラメータ×0.5バイトは約275GBとなる。
ここに量子化メタデータ、未量子化部分、キャッシュ、実行時領域が加わる。
総パラメータと活性パラメータも別であり、MoEの活性数が少ないことは全ての重みを保持しなくてよいことを意味しない。
MacとDGXを比べるための条件
大容量統合メモリを持つMacもローカル推論の検討対象になる。
ただし、本記事ではNemotron 3 UltraをMacで実行する試験を行っていない。
512GBという容量だけから互換性、生成速度、精度、複数人への配信性能を保証することはできない。
比較は同じモデル・量子化・入力長・出力長・同時接続数を揃えて行う。
MacのMLX環境とCUDA前提の環境では使える実装が異なる。
既存システムがどちらに依存するかで、移植・保守費用も変わる。
購入価格だけでなく、年間保守、電力、機器更新、運用担当者の工数を並べて比較する必要がある。
API利用と自社ホストの損益分岐
比較の単位は「トークン単価」だけではなく、検算・手戻りを含めて完了した業務1件当たりの費用に置く。
自社ホストの月額費用を、機器償却相当・電力・保守・運用工数の合計として置き、正常完了タスク数で割る。
API側は入力・出力・キャッシュ・再試行と運用工数を同じ分母で割る。
自社ホストは固定費が先に発生するため、利用量が少ない段階では稼働率が結果を左右する。
一方、利用が集中すると待ち時間や増設が必要になる。
平均件数だけでなく繁忙時の同時接続と許容待ち時間をシナリオに入れる。
品質が低く修正工数が増えるなら、推論単価の低下が業務全体の節約にならない場合もある。
導入前に確かめること
実データの持ち出し要件、利用するモデルのライセンス、ログの保管場所、権限、更新責任を先に決める。
そのうえで、小規模な代表タスクで品質と待ち時間を測り、月額費用に換算する。
ベンチマークの優位性と自社業務の投資回収を別に評価することが、過剰な設備投資を避けつつ分析の深さを保つ方法になる。
出典と確認範囲
- NVIDIA技術記事（2026年6月4日）：モデル仕様とベンチマークの主体・条件。
- DGX Station公式仕様：ハードウェアの公称値。
2026年9月22日に上記を確認。実機性能、Mac互換性、販売価格、ライセンス条文の個別適合審査は未実施。旧稿の価格・速度・消費電力を用いた一律推奨は取り下げた。