# NPU开发指南

***Copyright © Quectel Wireless Solutions Co., Ltd. 2026. All rights reserved.***

---

**Quectel Pi H1** 产品 **SoC** 搭载 **Qualcomm® Hexagon™处理器(NPU)**，这是一款专用于推理的硬件加速器。如需使用 **NPU** 进行模型推理，需借助 **QAIRT (Qualcomm® AI Runtime) SDK** 对预训练模型进行移植。**Qualcomm®** 为 **NPU** 开发者提供了一系列 **SDK**，便于用户将自有模型部署到 **NPU** 上。

- 模型量化库：AIMET

- 模型移植SDK：QAIRT

- 模型应用库：QAI-APP-BUILDER

- 线上模型转换库：QAI-HUB

# 准备工作

## 创建Python执行环境

```shell
sudo apt install python3-numpy
python3.10 -m venv venv
. venv/bin/activate
```

## 下载测试程序

下载 [npu-inference-sample-yolov8-for-h1](<https://developer.quectel.com/doc/files/quectel_pi/npu-inference-sample-yolov8-for-h1.zip>)，解压并进入 *ai-test* 目录：

```shell
unzip ai-test.zip
cd ai-test
chmod  +x *
```

# 执行AI推理

执行程序以加载模型和测试数据集：

```shell
./qnn-net-run --backend ./libQnnHtp.so \
     --retrieve_context resnet50_aimet_quantized_6490.bin \
     --input_list test_list.txt --output_dir output_bin
```

# 查看结果

执行脚本查看结果：

```shell
python3 show_resnet50_classifications.py \
      --input_list test_list.txt -o output_bin/ \
      --labels_file imagenet_classes.txt
```

脚本输出结果：

```plaintext
Classification results
./images/cock.raw     [cock]
./images/goldfish.raw [goldfish]
./images/ice_bear.raw [ice bear]
./images/mouse.raw    [mouse]
```

# 测试图片集

```{image} images/image_RYEIbKg2Cohzdfx1jGrcIJ9Mn4f.webp
:width: 945px
:height: 1417px
:align: center
```

```{image} images/image_JS7ybTDlooESqTxo9mYcseNqnOb.webp
:width: 998px
:height: 712px
```

```{image} images/image_BPGqbtkqgojArXx9GS7cClNLnCc.webp
:width: 1800px
:height: 3200px
:align: center
```

```{image} images/image_UPPqb79biooovXxZM9Vcm7Stnof.webp
:width: 1600px
:height: 1067px
```

# NPU软件栈

## QAIRT

**QAIRT (Qualcomm® AI Runtime) SDK** 是一个集成 **Qualcomm® AI** 软件产品的软件包，包含 **Qualcomm® AI Engine Direct**、**Qualcomm® Neural Processing SDK** 和 **Qualcomm® Genie**。**QAIRT** 为开发者提供了在 **Qualcomm®** 硬件加速器上移植和部署 **AI** 模型所需的全套工具，以及在 **CPU**、**GPU** 和 **NPU** 上运行模型的 **Runtime**。

支持的推理后端：

- CPU

- GPU

- NPU

```{image} images/image_AajibR8oxoMdx0x7r9bciEQsnse.webp
:width: 946px
:height: 954px
```

**SoC** 架构对照表

| **SoC** | **dsp_arch** | **soc_id** |
| --- | --- | --- |
| QCS6490 | v68 | 35 |
| QCS9075 | v73 | 77 |

## AIMET

[**AIMET**](<https://github.com/quic/aimet>)（**AI Model Efficiency Toolkit**）是一款面向深度学习模型（如 **PyTorch** 和 **ONNX**）的量化工具。**AIMET** 通过降低模型的计算负载和内存占用，提升其运行性能。借助 **AIMET**，开发者可以快速迭代，找到最佳量化配置，以在精度和延迟之间达到最优平衡。经 **AIMET** 导出的量化模型可通过 **QAIRT** 编译并部署至 **Qualcomm NPU**，也可直接使用 **ONNX-Runtime** 运行。

```{image} images/image_A2dzbiWvnoA4E7xUdYdcX2CMnyd.webp
:width: 1468px
:height: 408px
```

## QAI-APPBUILDER

[**Quick AI Application Builder**](<https://github.com/quic/ai-engine-direct-helper>) (**QAI AppBuilder**)可帮助开发者基于 **Qualcomm® AI Runtime SDK** 在搭载 **Qualcomm® Hexagon™ Processor (NPU)** 的 **Qualcomm® SoC** 平台上部署 **AI** 模型和设计 **AI** 应用。该工具将模型部署 **API** 封装为一组简化接口，用于加载模型至 **NPU** 并执行推理，显著降低了开发者部署模型的复杂性。此外，QAI AppBuilder还提供多个 **Demo** 供开发者参考，助力快速构建自有NPU应用。

```{image} images/image_Ieh4bS5l1oU72Ixn7JccA7XKnGg.webp
:width: 1552px
:height: 902px
```

## QAI-Hub

[**Qualcomm® AI Hub**](<https://aihub.qualcomm.com/>)（**QAI-Hub**）是一站式模型转换在线服务平台，提供在线模型编译、量化、性能分析、推理及下载服务。它能自动处理从预训练模型到设备运行时的模型转换。其中 [**Qualcomm® AI Hub Models**](<https://github.com/quic/ai-hub-models>)**（QAI-Hub-Models）** 是基于 **QAI-Hub** 的Python库，便于用户通过AI Hub服务对模型进行量化、编译、推理、分析和下载。

```{image} images/image_FezsbORDAoA8cdxISnbcdBxcnSg.webp
:width: 1610px
:height: 614px
```