Transformers

读Hugging Face文档时随手记下的一些结论、方法和困惑，涉及单卡与多卡优化、混合精度、梯度累计，以及不同任务的数据输入。哪些方法能加速、哪些能省显存，我也有容易混淆的地方，先把文档说明和自己的理解放在一起，方便以后回头查；没想明白的问题也留着，欢迎评论区大佬交流。

在远程服务器上没有root权限，不能动系统驱动，又想用较新的PyTorch和transformers，该怎么配置环境？这里记录一下我用Conda单独安装CUDA和相关依赖的过程，包括版本选择、CUDA可用性检查，以及让程序找到虚拟环境里的CUDA，顺便整理了安装xformers时遇到的依赖问题。