跳到正文
原文
Hugging Face Blog·· 9 天前AI 评分34

面向多向量嵌入模型的 Token Pooling 感知训练

Token Pooling-Aware Training for Multi-Vector Embedding Models

AI 导读

多向量嵌入模型可通过 Token Pooling 合并相似 token 向量来压缩存储,而 pooling 感知训练能让编码器在合并时保留关键信息。在 pool_factor=4、文档向量减少 4 倍的条件下,常规训练模型保留未池化 NanoBEIR nDCG@10 的 94.6%,感知训练将这一保留率提升至 97.8%。

来源:Hugging Face Blog · huggingface.co