跳到正文
原文
AWS Machine Learning Blog· Siddharth Senger·· 8 天前AI 评分58

如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

AI 导读

AWS 团队在 SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏,包括 all-reduce 前后的 NaN/Inf 梯度检查、环形重放审计和权重指纹比对,并给出定位节点、隔离与替换的完整流程。

来源:AWS Machine Learning Blog · aws.amazon.com