Article

post_img

Tensor-LLM 1.0.0rc4 量化推理QwQ-32B int4

摘要

基于TensorRT-LLM,在A100环境下对QwQ-32B模型进行int4量化推理。通过转换检查点并构建TensorRT引擎,成功运行吞吐基准测试,使用合成数据集评估性能。

post_img

Ubuntu24.04安装多版本CUDA

摘要

在 Ubuntu 24.04 上安装和配置多版本 CUDA 工具包。内容涵盖了下载安装包到设置环境变量、验证安装的全过程。以及如何通过别名管理不同版本的 CUDA,便于开发者灵活切换。

post_img

UNRAID部署Immich并启用cuda加速

摘要

这篇文章讲述了如何在 UNRAID 系统中配置 Immich,并启用 CUDA 加速功能。内容包括安装 Docker Compose、编辑配置文件以及调用 GPU。