post_img

Tensor-LLM 1.0.0rc4 量化推理QwQ-32B int4

摘要

基于TensorRT-LLM,在A100环境下对QwQ-32B模型进行int4量化推理。通过转换检查点并构建TensorRT引擎,成功运行吞吐基准测试,使用合成数据集评估性能。

post_img

Ubuntu24.04安装多版本CUDA

摘要

在 Ubuntu 24.04 上安装和配置多版本 CUDA 工具包。内容涵盖了下载安装包到设置环境变量、验证安装的全过程。以及如何通过别名管理不同版本的 CUDA,便于开发者灵活切换。

post_img

UNRAID部署Immich并启用cuda加速

摘要

这篇文章讲述了如何在 UNRAID 系统中配置 Immich,并启用 CUDA 加速功能。内容包括安装 Docker Compose、编辑配置文件以及调用 GPU。

post_img

记一次CloudFlare小云朵代理网站SSL错误事故

摘要

这篇文章记录了一次解决 CloudFlare 网站 SSL 错误的经历。博主排查了源服务器证书、尝试替换证书并搜索解决方法,但发现问题出在 DNSSEC 的配置上。通过修复加密算法配置和调整 CloudFlare