Hugging Face Blog·· 9 天前AI 评分34
面向多向量嵌入模型的 Token Pooling 感知训练
Token Pooling-Aware Training for Multi-Vector Embedding Models
AI 导读
多向量嵌入模型可通过 Token Pooling 合并相似 token 向量来压缩存储,而 pooling 感知训练能让编码器在合并时保留关键信息。在 pool_factor=4、文档向量减少 4 倍的条件下,常规训练模型保留未池化 NanoBEIR nDCG@10 的 94.6%,感知训练将这一保留率提升至 97.8%。
来源:Hugging Face Blog · huggingface.co