自然语言处理

记录一次在A800上折腾Flash Attention源码编译的笔记。如果你也遇到了编译时间过长、内存溢出killed等问题，本文提供的关键环境变量设置和踩坑经验或许能帮你节省一些时间。

读Hugging Face文档时随手记下的一些结论、方法和困惑，涉及单卡与多卡优化、混合精度、梯度累计，以及不同任务的数据输入。哪些方法能加速、哪些能省显存，我也有容易混淆的地方，先把文档说明和自己的理解放在一起，方便以后回头查；没想明白的问题也留着，欢迎评论区大佬交流。