大语言模型

记录一次在A800上折腾Flash Attention源码编译的笔记。如果你也遇到了编译时间过长、内存溢出killed等问题，本文提供的关键环境变量设置和踩坑经验或许能帮你节省一些时间。

简单记录一下hugging face官方文档中出现的结论和方法。顺便记载一些个人思考与困惑之处，方便以后回溯解决。欢迎评论区大佬留言交流。