月青悠

记录一次在A800上折腾Flash Attention源码编译的笔记。如果你也遇到了编译时间过长、内存溢出killed等问题，本文提供的关键环境变量设置和踩坑经验或许能帮你节省一些时间。

简要介绍一下vscode与ssh的远程开发联动，顺带推荐一下notebook。现在发现在python的远程服务器开发中配合使用notebook是真的太方便了。熟悉流程后部署非常快，主要是真的太！方！便！了！！！

最近，我遇到了一个需要迁移 Conda 环境的场景。通常来说，深度学习项目的环境搭建是相当复杂的，因为依赖包之间的版本关系非常紧密，而且硬件驱动的版本也常常有限制。如果能够直接将已经配置好的环境从一台服务器迁移到另一台服务器，将大大节省时间和精力。

最近将博客从Hexo换到Hugo后，发现了Hugo强大的自定义能力，其中就包括了图片自定义能力。一番摸索后，成功将原图片转换为Webp格式、加上了fancybox画廊和博客水印。

读Hugging Face文档时随手记下的一些结论、方法和困惑，涉及单卡与多卡优化、混合精度、梯度累计，以及不同任务的数据输入。哪些方法能加速、哪些能省显存，我也有容易混淆的地方，先把文档说明和自己的理解放在一起，方便以后回头查；没想明白的问题也留着，欢迎评论区大佬交流。

在远程服务器上没有root权限，不能动系统驱动，又想用较新的PyTorch和transformers，该怎么配置环境？这里记录一下我用Conda单独安装CUDA和相关依赖的过程，包括版本选择、CUDA可用性检查，以及让程序找到虚拟环境里的CUDA，顺便整理了安装xformers时遇到的依赖问题。