TensorRT

这篇文章讲解如何在单卡 A100 上，通过 TensorRT-LLM 实现 Qwen3-8B 模型的量化推理，内容涵盖环境设置、模型转换及推理运行，适合关注高性能计算的开发者。

在PVE系统中，为Ubuntu虚拟机直通 A100 显卡、安装 NVIDIA 驱动、CUDA Toolkit 和 TensorRT。内容涵盖虚拟机设置、环境配置到深度学习工具的完整安装流程。