AWS Machine Learning Blog· Siddharth Senger·· 8 天前AI 评分58
如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS 团队在 SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏,包括 all-reduce 前后的 NaN/Inf 梯度检查、环形重放审计和权重指纹比对,并给出定位节点、隔离与替换的完整流程。
来源:AWS Machine Learning Blog · aws.amazon.com