深度学习

最近，我遇到了一个需要迁移 Conda 环境的场景。通常来说，深度学习项目的环境搭建是相当复杂的，因为依赖包之间的版本关系非常紧密，而且硬件驱动的版本也常常有限制。如果能够直接将已经配置好的环境从一台服务器迁移到另一台服务器，将大大节省时间和精力。

读Hugging Face文档时随手记下的一些结论、方法和困惑，涉及单卡与多卡优化、混合精度、梯度累计，以及不同任务的数据输入。哪些方法能加速、哪些能省显存，我也有容易混淆的地方，先把文档说明和自己的理解放在一起，方便以后回头查；没想明白的问题也留着，欢迎评论区大佬交流。

在远程服务器上没有root权限，不能动系统驱动，又想用较新的PyTorch和transformers，该怎么配置环境？这里记录一下我用Conda单独安装CUDA和相关依赖的过程，包括版本选择、CUDA可用性检查，以及让程序找到虚拟环境里的CUDA，顺便整理了安装xformers时遇到的依赖问题。