解锁 TL182X 算力卡：20TOPS 算力 RK1828 大模型部署全实操（三）

解锁 TL182X 算力卡：20TOPS 算力 RK1828 大模型部署全实操（三）需要先看清适用场景和关键步骤，避免只记结论却忽略实际限制。

4.5.2运行Qwen2.5-7B模型

请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen2.5-7B”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen2.5-7B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen2.5-7B/

wKgZO2p5KO-AIqmEAAAfa7WKi70222.png

执行如下命令，运行Qwen2.5-7B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen2.5-7B.rknn Qwen2.5-7B.weight Qwen2.5-7B.tokenizer.gguf Qwen2.5-7B.embed.bin 1024 128 128 0xff

wKgZO2p5KP6ADaWIAACF6vCTM5s388.png

程序统计性能：

wKgZPGp5KQyAO5OeAACMepazceI433.png

由打印信息可得：

wKgZPGp5KRuAJlHlAAAX6DPzRgc506.png

查看CPU使用率和NPU使用率：

wKgZPGpylViAFGxtAABTkMV8VoU491.png

wKgZPGp5KSiAP80uAAEPXVhlWvY480.png

由上图可以看到，CPU使用率最高46%，NPU使用率最高94%。

4.5.3运行Qwen3-4B模型

请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-4B”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen3-4B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen3-4B/

wKgZPGp5KUGAXuLsAAAaiHHEBGU251.png

执行如下命令，运行Qwen3-4B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen3-4B.rknn Qwen3-4B.weight Qwen3-4B.tokenizer.gguf Qwen3-4B.embed.bin 1024 128 128 0xff

wKgZPGp5KU2AH8XOAACD7-NQyk0189.png

程序统计性能：

wKgZPGp5KV6AY7YxAACG5YhnbK0599.png

由打印信息可得：

wKgZPGp5KW-Ac5R2AAAM9lw2qcA811.png

查看CPU使用率和NPU使用率：

wKgZPGpylViAFGxtAABTkMV8VoU491.png

wKgZO2p5KYmAHsv6AAEIHAnOF4c336.png

由上图可以看到，CPU使用率最高46%，NPU使用率最高92%

4.5.4运行Qwen3-8B模型

请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-8B”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen3-8B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen3-8B/

wKgZO2p5KbCAT91gAAAaDFljfaM681.png

执行如下命令，运行Qwen3-8B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen3-8B.rknn Qwen3-8B.weight.ldtmp Qwen3-8B.tokenizer.gguf Qwen3-8B.embed.bin 1024 128 128 0xff

wKgZO2p5Kb6AXxseAACMrGGh3uE037.png

程序统计性能：

wKgZPGp5KcmAGWHdAACGWEhGkLo327.png

由打印信息可得：

wKgZPGp5KeaAUXutAAAUQAhGPdI926.png

查看CPU使用率和NPU使用率：

wKgZPGpylViAFGxtAABTkMV8VoU491.png

wKgZO2p5KfCADVylAAD7B-Pbaeo288.png

由上图可以看到，CPU使用率最高26%，NPU使用率最高95%

五、案例编译

进行案例编译前，请先参考TL3588-EVM产品资料的《Ubuntu系统使用手册》完成应用交叉编译工具链配置。

5.1编译rknn3_model_test_demo

执行如下命令，进入rknn3_model_test_demo案例目录。

Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-runtime/examples/rknn3_model_test_demo

Host# ls

wKgZO2p5KlOATytuAACPIy-wdQw181.png

执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。

Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

wKgZO2p5KmSAD8_SAAEVEFVZmpA064.png

编译完成后，将在"install/rknn3_model_test_Linux/"目录下生成可执行文件。

wKgZPGp5KoGAAF3VAAFGhSbSKyQ418.png

5.2编译rknn3_llm_test

执行如下命令，进入rknn3_llm_test案例目录。

Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-model-zoo/tools/rknn3_llm_test

Host# ls

wKgZO2p5Ko2AHHAHAACGRMPhR7Q476.png

执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。

Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

wKgZPGp5KpiANHqhAAFgHhVDDTI596.png

若使用Ubuntu22.04版本资料（基于rk3588_linux6.1_release_v1.4.0）的开发环境，则执行如下命令配置交叉编译环境，再运行构建脚本，编译应用程序。

Host# export GCC_COMPILER=/usr/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

wKgZO2p5KqWADKCOAADqhgYbJ8Y161.png

编译完成后，将在"install/rknn3_llm_test_RK3588_Linux/"目录下生成可执行文件。

wKgZO2p5KrKAUNUqAAFhL8KGfG4705.png