跳到正文
原文
AWS Machine Learning Blog· Summer Devlin·· 18 小时前AI 评分36

Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数十亿文档索引

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 在 AWS Inferentia2 与 Trainium2 上把嵌入吞吐提升约 1.5 倍(50%),用于支撑数十亿级网页文档的语义索引。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力 kernel,以及自研 weight-stationary 融合 SwiGLU MLP kernel 消除 HBM 读写停顿。

来源:AWS Machine Learning Blog · aws.amazon.com