软件学报

作者：江宇轩，姚俊杰，侯宇轩

单位：江宇轩，华东师范大学, 上海 20006211,姚俊杰，华东师范大学, 上海 20006202,侯宇轩，华东师范大学, 上海 20006203

关键词：向量数据库;向量量化;近似查询处理

基金：国家重点研发计划(2024YFC2607402); 国家自然科学基金(61972151)

随着多源异构数据、多模态等在大模型和数据湖等场景的广泛应用, 基于向量的数据检索和存储管理显著增长. 通过将异构数据映射为高维向量表示, 并以向量索引为基础, 向量数据库将多种数据类型统一管理和高质量相似性检索, 成为生成式检索和AI数据库等重要基础. 然而, 现有向量数据库在存储索引效率、索引构建复杂度及检索准确性方面面临显著瓶颈: (1) 海量高维向量导致索引存储开销和维护成本增加; (2) 向量索引结构冗长, 内存消耗巨大; (3) 压缩技术失真引发的检索准确性下降问题仍未有效解决. 提出了一种基于权重残差向量量化 (weight residual vector quantization, WRVQ)的框架. 该方法通过将量化方向与残差长度分离处理, 以单位向量形式存储残差方向并附加权重标记, 实现了低失真率下的高效压缩与存储. 在索引构建方面, 设计了适配WRVQ量化特性的3层倒排索引结构——精确匹配层、模糊匹配层与搜索层, 有机结合非对称距离计算 (asymmetric distance computation, ADC)与近邻搜索技术, 实现了高准确度与高效率兼具的近似最近邻检索. 在大规模数据集上的实验结果表明, 与传统低维嵌入模型及现有量化方法相比, WRVQ在量化损失、存储压缩比和检索召回率等关键指标上均取得了显著提升, 且索引构建与查询性能具有显著优势.

来源：2026年第3期

《软件学报》期刊编辑部

查看软件学报杂志2026年第3期