登录社区云，与社区用户共同成长
邀请您加入社区
PyTorch的GPU版本利用了NVIDIA的CUDA技术，使得深度学习计算能够高效地在GPU上运行。使用GPU来执行深度学习计算可以显著加速计算，从而减少训练和推理时间。CUDA是NVIDIA推出的一种通用并行计算架构，可以使GPU执行通用计算任务，而不仅仅是图形处理。在PyTorch中，可以使用CUDA来利用NVIDIA GPU的并行计算能力加速模型训练和推理。cuDNN是NVIDIA专门为深
现在有很多开源的大模型，他们一般都是通用的，这就意味着这些开源大模型在特定任务上可能力不从心。为了适应我们的下游任务，就需要对预训练模型进行微调。全参数微调有两个问题：在新的数据集上训练，会破坏大模型原来的能力，使其泛化能力急剧下降；而且现在的模型参数动辄几十亿上百亿，要执行全参数微调的话，他贵啊！！于是LoRA出现了，LoRA（Low-Rank Adaptation)是微软提出的一种参数有效的微
jupyter notebook和pycharm中配置pytorch环境，及jupyter notebook内核创建
对于显存碎片化引起的CUDA OOM，解决方法是将PYTORCH_CUDA_ALLOC_CONF的max_split_size_mb设为较小值。
pytorch升级到1.6.0，发现tensor和int之间的除法不能直接用'/'。明明1.5.0都是可以用的-_-。这种邻代兼容性有点值得吐槽。对于这个问题直接看官方文档就可以了：https://pytorch.org/docs/stable/generated/torch.div.html或者，看我的解决方案：对于tensor A和整数n之间的除法：result = A / n # not s
