人工智能硬件商店
瀏覽迷你電腦、NAS、工作站、伺服器及邊緣人工智能硬件 — 每個系統均可搭配⏻ On Intelligence提供的安裝服務及軟件創新方案。
| 圖片 | 產品 | 價格 | 容量 |
|---|
了解模型容量
模型容量是指 AI 模型包含的參數數量(例如 70B = 700 億個參數)。較大的模型通常需要更多記憶體和運算能力,但能提供更佳的推理和輸出品質。
精確度 (FP16 / FP8 / FP4) 會影響指定模型容量所需的記憶體:較低精確度的格式每降低一級(FP16 → FP8 → FP4)大約可將記憶體需求減半,但會對輸出精確度造成一定影響。
| 模型大小 | 標準記憶體 (FP16) | 標準記憶體 (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |