1.基础知识1.概述2.数据并行3.流水线并行4.张量并行5.序列并行6.多维度混合并行7.自动并行8.moe并行9.总结2.DeepSpeeddeepspeed介绍3.软硬件1.显存问题3.一些题目分布式训练题目参考资料:大模型分布式训练并行技术(九)-总结 - 掘金 (juejin.cn)https://www.zhangzhenhu.com/deepspeed/index.htmlhttps://blog.csdn.net/zwqjoy/article/details/130732601https://techdiylife.github.io/