Qualcomm Hexagon NPU 應用解析：從手機晶片到端側生成式 AI 的核心引擎
在 Edge AI 與生成式 AI 崛起後，運算重心正在快速從雲端轉移到終端裝置。過去被視為「手機 DSP」的運算單元，如今已經演化成 AI 推論的核心引擎。
Qualcomm 的 Hexagon NPU，就是這場轉型最具代表性的架構之一。
一、Hexagon NPU 是什麼？
Hexagon NPU 是 Qualcomm AI Engine 的核心運算單元，本質上是：
一個整合 DSP + SIMD + Tensor accelerator 的 AI 推論引擎
架構位置
在 Snapdragon SoC 中：
- CPU（Kryo / Oryon）：負責邏輯與應用
- GPU（Adreno）：負責圖形與部分並行計算
- Hexagon NPU：負責 AI inference
👉 三者共同構成 Qualcomm AI Engine
二、Hexagon NPU 的演進
Hexagon 並不是一開始就是 AI NPU，而是逐步演化：
1. DSP 時代
- 音訊處理
- 通訊訊號處理
- sensor fusion
2. Vector DSP 時代
- SIMD parallel compute
- 初步機器學習加速
3. AI / NPU 時代
- tensor acceleration
- transformer inference
- on-device generative AI
三、Hexagon NPU 的核心能力
1. Tensor compute
- INT8 / INT4 quantization
- matrix multiplication optimization
- convolution acceleration
👉 用於 vision AI / speech AI
2. Transformer inference（關鍵轉折）
現代 Hexagon 已支援：
- attention computation
- KV cache optimization
- streaming inference
- multimodal AI processing
👉 代表它已經進入 LLM 時代
3. Low-latency edge inference
設計目標不是 training，而是：
- 即時推論
- 低功耗運算
- 本地 AI response
四、實際應用場景
Hexagon NPU 已經廣泛應用在 Snapdragon 生態系中：
1. 手機 AI 功能
- AI 相機（夜景、去噪、HDR）
- 人像分割
- 即時翻譯
- 語音助理
2. 生成式 AI（on-device LLM）
新一代 Snapdragon 已開始支援：
- 本地 LLM inference
- AI assistant
- prompt-based image generation（輕量版）
3. 語音與音訊 AI
- noise cancellation
- wake word detection
- voice authentication
4. 多模態 AI
Hexagon 已可處理：
- text + image + audio fusion
- sensor fusion AI decision
5. PC / Edge Device 延伸
在 Snapdragon X 系列平台：
- AI PC（Copilot+ 類型）
- 本地 AI assistant
- on-device productivity AI
五、AI Engine 軟體生態（關鍵差異）
Hexagon 的價值不只是硬體，而是完整 AI stack：
1. AI Engine Direct SDK
- developer 可直接控制 NPU
- low-level optimization
- performance tuning
2. Compiler / Runtime
- graph optimization
- operator fusion
- scheduling across CPU/GPU/NPU
3. Model support
支援：
- PyTorch
- ONNX
- TensorFlow Lite
- JAX（部分流程）
👉 重點：
Qualcomm 控制的是「從模型到硬體執行」的整條鏈
六、Hexagon vs 傳統 NPU 的差異
✔ 傳統 NPU（例如 IoT）
- CNN 為主
- 固定 pipeline
- 單一 inference task
✔ Hexagon NPU
- 支援 transformer
- 多模態 AI
- dynamic graph execution
- system-level AI orchestration
七、產業意義
Hexagon 的本質不是單純 NPU，而是：
將 AI 從「功能模組」升級為「系統級運算層」
這代表三個轉變：
1. AI 從 cloud → edge
AI 不再依賴雲端
2. AI 從 model → system
重點變成：
- scheduling
- memory
- runtime
3. AI 從 compute → platform
Hexagon 不只是算力，而是 AI platform 的一部分
八、與 IP 模型公司的差異（關鍵）
對比 CEVA：
| 層級 | Qualcomm | CEVA |
|---|---|---|
| 模型 | 平台型 | IP授權 |
| 控制權 | 高 | 低 |
| AI stack | 完整 | 無 |
| 應用 | 直接產品 | SoC內部模組 |
九、核心結論
Qualcomm 的 Hexagon NPU 已從傳統 DSP 演化為完整 AI 推論引擎，覆蓋從手機 AI、生成式 AI 到 PC 與 edge device 的多層應用，其核心價值不在單一算力，而在於完整 AI runtime + system-level orchestration 能力。
十、一句話總結
Qualcomm Hexagon NPU 的本質，是一個將 Transformer 等級 AI 推論「系統化」並整合進端側 SoC 的完整 AI 運算平台，而不只是單純的神經網路加速器。
留言
張貼留言