深度学习

背景 在深度学习的项目中，环境配置是一个非常重要且复杂的步骤。一个稳定的深度学习环境通常包含多个相互依赖的包，如 torch、transform...

单GPU优化 Resource: Hugging Face Doc Method/tool Improves training speed Optimizes memory utilization Batch size choice Yes Yes Gradient accumulation No Yes Gradient checkpointing No Yes Mixed precision training Yes (No) Optimizer choice Yes Yes Data preloading Yes No DeepSpeed Zero No Yes torch.compile Yes No Parameter-Efficient Fine Tuning (PEFT) No Yes FP16 If your model doesn’t work well with...

非ROOT用户配置远程CUDA服务器的深度学习环境，下面以Pytorch为例。 CUDA驱动 查看服务器已经安装的CUDA版本： 1 nvcc -V 我这里显示...