读Hugging Face文档有感

单GPU优化 Resource: Hugging Face Doc Method/tool Improves training speed Optimizes memory utilization Batch size choice Yes Yes Gradient accumulation No Yes Gradient checkpointing No Yes Mixed precision training Yes (No) Optimizer choice Yes Yes Data preloading Yes No DeepSpeed Zero No Yes torch.compile Yes No Parameter-Efficient Fine Tuning (PEFT) No Yes FP16 If your model doesn’t work well with...

2024-03-11    2024-03-14    2463 字    5 分钟

非Root用户安装新版本Cuda以及配置NLP环境

非ROOT用户配置远程CUDA服务器的深度学习环境,下面以Pytorch为例。 CUDA驱动 查看服务器已经安装的CUDA版本: 1 nvcc -V 我这里显示...

2024-03-10    2024-03-21    1402 字    3 分钟