AWS Machine Learning Blog· Summer Devlin·· 18 小时前AI 评分36
Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数十亿文档索引
Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
AI 导读
Exa 在 AWS Inferentia2 与 Trainium2 上把嵌入吞吐提升约 1.5 倍(50%),用于支撑数十亿级网页文档的语义索引。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力 kernel,以及自研 weight-stationary 融合 SwiGLU MLP kernel 消除 HBM 读写停顿。
来源:AWS Machine Learning Blog · aws.amazon.com