Cuda

记录一次在A800上折腾Flash Attention源码编译的笔记。如果你也遇到了编译时间过长、内存溢出killed等问题，本文提供的关键环境变量设置和踩坑经验或许能帮你节省一些时间。

在远程服务器上没有root权限，不能动系统驱动，又想用较新的PyTorch和transformers，该怎么配置环境？这里记录一下我用Conda单独安装CUDA和相关依赖的过程，包括版本选择、CUDA可用性检查，以及让程序找到虚拟环境里的CUDA，顺便整理了安装xformers时遇到的依赖问题。