发布于 9 天前
摘要
基于TensorRT-LLM，在A100环境下对QwQ-32B模型进行int4量化推理。通过转换检查点并构建TensorRT引擎，成功运行吞吐基准测试，使用合成数据集评估性能。
TensorRT-LLM
深度解析TensorRT-LLM工具链在大型语言模型优化中的应用案例和技术细节。