一、背景與目標
Whisper 是一個計算量極大的語音識別模型，為了獲得最佳性能，通常需要使用 GPU 來加速推理。Dell PowerEdge R720 是一款較老的2U機架式伺服器，具備一定的擴展能力，可安裝 GPU 卡，但同時受限於機箱空間、功耗與散熱設計。
本報告旨在針對希望在 R720 上運行 Whisper 模型的使用者，推薦幾款兼顧性能與兼容性的 GPU，並就安裝細節、功耗、驅動支持等提供實用建議。
二、Whisper 對 GPU 的性能需求
- 顯存需求：Whisper 的 large 模型需約 10GB 顯存。
- 計算需求：支援 FP16 或 BF16 的 GPU 可提升推理速度，具 Tensor Core 的 NVIDIA GPU 是最佳選擇。
- 推薦功能：FP16 / BF16 支援、Tensor Core、至少 16GB 顯存為佳。
三、Dell R720 的限制與條件
- 空間：支援雙槽寬（Double-wide）與單槽寬（Single-wide）GPU，機箱高為 2U。
- 功耗：每槽提供 75W，另可透過 8-pin EPS 提供額外 150W，單卡理論最高功耗支援約 225W，部分改裝情況可達 300W。
- 散熱：建議使用被動散熱卡或風道良好設計的涡輪扇卡。
- 供電：需使用 Dell 原廠或可靠的 8-pin EPS 供電線。
四、推薦顯卡與分析
1. NVIDIA Tesla T4（推薦首選）
- 架構：Turing
- Tensor Core：支援 FP16 / INT8
- 顯存：16GB GDDR6
- 功耗：70-75W，無需外接供電
- 優點：單槽半高卡，被動散熱，與 R720 完全兼容，性價比高。
- 適用場景：Whisper large 模型流暢推理，支援自動混合精度（AMP）模式。
2. NVIDIA A10（性能最強）
- 架構：Ampere
- Tensor Core：第3代 Tensor Core，支援 FP16 / BF16
- 顯存：24GB GDDR6
- 功耗：150W，需 8-pin 外接供電
- 優點：單槽全高卡，性能接近 V100，但功耗更低，價格更可接受。
- 安裝建議：需配備 8-pin 供電線與對應 Riser 卡，建議搭配高瓦數電源（1100W x2）。
3. NVIDIA Tesla P40（高性價比方案）
- 架構：Pascal
- Tensor Core：不支援，僅支援 FP32 / INT8
- 顯存：24GB GDDR5
- 功耗：250W，需 8-pin 外接供電
- 優點：大顯存，價格便宜，可跑 Whisper large 模型
- 缺點：無 FP16 加速，推理速度略慢，功耗與發熱較高。
五、推薦顯卡對比表
| GPU 型號 | 架構 | 顯存 | Tensor Core | FP16 性能 | 功耗 | 兼容性說明 |
|---|---|---|---|---|---|---|
| Tesla T4 | Turing | 16GB | 有（第2代） | 約 65 TFLOPS | 75W | 完全兼容，無需外接供電 |
| NVIDIA A10 | Ampere | 24GB | 有（第3代） | 約 125 TFLOPS | 150W | 需外接 8-pin 供電，兼容 |
| Tesla P40 | Pascal | 24GB | 無 | 無 FP16 加速 | 250W | 可用，但功耗較高需注意 |
六、驅動與軟體建議
- 建議驅動版本：450 系列以上（對應 CUDA 11 起）
- CUDA 建議版本：CUDA 11.3 或以上（支援 Ampere 架構）
- 框架支援：PyTorch 1.7 起支援 AMP，自動使用 FP16 模式推理
- 操作系統建議：Linux 環境更容易安裝與穩定驅動
七、實際部署建議
- 確認電源模組為 1100W 並支援 GPU 插槽供電（部分機型需購買 GPU enable kit）
- 使用原廠或高品質 8-pin 供電線，避免非標配線材造成風險
- 安裝時選擇靠近機箱風扇的插槽，強化風道散熱
- 若部署兩張 GPU，建議分開插槽避免熱量堆疊
八、結論
在 Dell R720 上部署 Whisper 模型的最佳 GPU 選擇為：
- Tesla T4 —— 整體性價比與兼容性最佳
- NVIDIA A10 —— 性能強大，適合實時或高並發推理
- Tesla P40 —— 經濟型選擇，適合離線批量轉錄需求
若有足夠預算與改裝能力，也可考慮更高階的 Tesla V100 或 A100，但需注意散熱與電源極限。選擇適當的驅動與 CUDA 組合，搭配優化後的 Whisper 推理框架，即可讓這台老將 R720 再現光芒。