训练时 GPU 利用率忽高忽低，未必是算力不足；如果数据加载跟不上，本地 NVMe 可能更有价值。判断深度学习训练实例的本地NVMe盘选配是否合适，先看数据是否会反复读取、是否受网络存储吞吐或延迟影响，以及任务能否容忍临时盘丢失。
图像、音频等数据经过解码和增强后反复训练，或多个任务同时读取共享存储，往往值得测试本地盘。小数据集可直接放入内存、只跑一次的任务，或瓶颈明显在 CPU 预处理和模型计算时，升级 NVMe 未必带来明显收益。
先确认：本地盘解决的是哪类瓶颈
本地 NVMe 的优势是数据位于计算节点附近，适合放高频读取的数据集、解压文件和预处理缓存。它不等于持久存储：具体云平台的本地盘可能随实例停止、释放或底层故障而不可用，须查清产品说明。原始数据和需要保留的检查点应另存到持久化存储。
开训前记录 GPU 空闲情况、数据读取耗时和网络存储读速；再用同一批数据比较本地盘与原存储。若加载等待明显下降且训练整体加快，才有依据扩大配置。深度学习训练实例的本地NVMe盘选配应看实际训练流程，而不是只比较标称顺序读速。
5项配置建议
- 按工作集定容量。把训练集、解压或转换后的副本、预处理缓存和检查点分别估算，按高峰占用留余量。若同一份数据会同时保留原格式与转换格式，应把两份都计入；可先用小批次实测转换后体积，再外推，而非只按下载文件大小购买。
- 核对接口与实际吞吐。查看实例规格列出的盘数、单盘容量、PCIe 代际和是否有带宽限制；接口规格不等于训练能获得的读速。许多小文件会带来打开、随机读取和解码开销，连续读速再高也未必解决问题。用真实目录结构和数据加载流程做对比测试。
- 按写入量看耐久度。频繁保存检查点、生成缓存会增加写入。对比厂商标注的 TBW 或 DWPD，并估算任务期间的写入规模；不同产品与保修条件不可直接横比。缓存若能重建，不必按持久数据保护标准配置，但应防止无用的重复写入。
- 谨慎选择单盘或阵列。单盘配置简单，故障影响范围较小；RAID 0 可合并容量和带宽，但任一成员盘出问题都可能使阵列数据不可用，不能当备份。RAID 1 能提供镜像冗余，但可用容量和性能表现取决于控制器与实现。临时数据可考虑单盘，关键检查点仍应外存。
- 分清热数据与持久数据。将近期要训练的数据、解压结果和缓存放本地 NVMe；原始数据、模型版本和检查点留在对象存储或网络文件系统等持久位置。训练前分批拷贝并校验文件数量或校验值，结束后及时回传有保留价值的结果，避免把本地盘误作长期仓库。
用小规模验证完成选配
- 先统计一个完整训练周期内的数据读取、缓存和检查点写入量。
- 确认所选实例的本地盘容量、读写限制、盘符映射及实例释放后的数据处理规则。
- 用代表性任务运行一段足以覆盖数据加载与检查点保存的时间，比较训练耗时、GPU 等待和存储读写，而非只测空盘跑分。
- 将可丢失的工作集放在本地盘，验证检查点能否写回持久存储；再据结果调整盘数、容量和数据分片。
若多轮训练反复读取同一工作集，且测试证实存储等待限制训练，本地 NVMe 通常更值得配置；若任务短、数据小或主要受计算限制，则可优先把预算用于其他瓶颈。稳妥的深度学习训练实例的本地NVMe盘选配，是让本地盘承担可重建的高频数据，同时把重要产物放到持久存储。
常见问题
本地 NVMe 能替代对象存储吗？
不宜直接替代。它适合临时工作集和缓存；原始数据及需长期保留的检查点应存入持久化位置。
盘越多，训练一定越快吗？
不一定。若瓶颈在解码、CPU、网络或模型计算，多盘带来的读写提升可能无法转化为训练提速。
什么时候适合做 RAID 0？
工作集可重建、任务能容忍阵列故障，并且实测确有带宽需求时才考虑；它不提供冗余保护。
怎样判断容量留得够不够？
按训练高峰时同时存在的数据副本、缓存和检查点估算，再用真实任务观察剩余空间；文件格式与预处理方式会改变实际占用。
