【AI】（十四）开源向量数据库简单介绍

小渣渣

需求：上次整理了嵌入模型 Embedding Model 的选择，当通过模型转换成向量后，需要考虑将向量存储起来。向量数据库有非常多，例如：LanceDB、Astra DB、Pinecone、Chroma、Weaviate、QDrant、Milvus、Zilliz、PGVector、Redis、Elasticsearch、Redis、FAISS、SQL Server 2025 等。

什么是向量数据库？

向量数据库是一种组织有序的向量嵌入集合，整合了可以随时创建、读取、更新和删除的向量嵌入。向量嵌入将数据块 (例如文本或图像) 表示为数值。向量数据库是一种专门用于存储和检索高维向量的数据库系统。它通过计算向量之间的相似度（如余弦相似度、欧几里得距离等）来快速找到最接近的目标向量。这种技术通常用于处理基于嵌入（embedding）的数据，例如文本、图像、音频或视频的特征表示。

向量数据库是以数学形式存储的数据集合。向量数据库使机器学习模型更容易记住以前的输入，从而使机器学习能够用于支持搜索、推荐和生成文本等使用案例。可以根据相似性指标而不是精确匹配来识别数据，从而使计算机模型能够理解数据的上下文。

当顾客逛鞋店时，售货员可能会向顾客推荐与顾客喜欢的那双鞋相似的鞋子。同样，在电子商务商店中购物时，商店可能会在诸如“客户还购买了...”之类的标题下推荐类似的商品。向量数据库使机器学习模型能够识别相似的对象，就像售货员可以找到相似的鞋子一样，电子商务商店可以推荐相关的产品。（事实上，电子商务商店可能会使用此类机器学习模型来完成这项工作）。

总之，向量数据库使计算机程序能够进行比较、识别关系和理解上下文。这使得创建大型语言模型 (LLM) 等先进的人工智能 (AI) 程序成为可能。

Chroma

网站：超链接登录可见。



Chroma 是一种高效的、基于 Python 的、用于大规模相似性搜索的开源数据库。它的设计初衷是为了解决在大规模数据集中进行相似性搜索的问题，特别是在需要处理高维度数据时。提供多种托管选项：无服务器/嵌入式、自托管（客户端-服务器）和云原生分布式 SaaS 解决方案，同时具有嵌入式和客户端-服务器模式。
在原型设计和生产环境方面表现出色。由于其数据存储的短暂性，Chroma非常适合用于快速构建原型脚本。通过简单的设置，用户可以轻松地创建集合并重复使用它们，为后续的数据添加提供便利。此外，Chroma还具有自动加载和保存数据的功能。在启动客户端时，它会自动加载用户的数据；在关闭时，则会自动保存数据，大大简化了数据管理的过程。这种特性使得Chroma在原型设计和开发阶段非常受欢迎。
Chroma在2022年5月获得种子轮融资，并在次轮获得1800美元融资。

优点：Chroma 提供了十几种编程语言的客户端，可以快速启动向量存储，并且是市场上第一个默认提供嵌入模式的向量数据库。对开发者比较友好，集成简单。
缺点：功能相对简单，特别是对于需要更复杂功能的应用场景。只支持 CPU 计算，这可能限制了在需要大量计算资源的情况下性能的提升。

LanceDB

网站：超链接登录可见。



LanceDB是一个开源的向量数据库，专为多模态AI数据设计，用于存储、管理、查询和检索大规模多模态数据的嵌入。其核心使用Rust编写，并基于Lance这一列式数据格式构建，该格式优化了高速随机访问和AI数据集（如向量、文档和图像）的管理。适用于各种需要处理高维向量数据的AI应用，如图像识别、自然语言处理、推荐系统等。LanceDB提供嵌入式、云托管服务两种模式。

优点：LanceDB无需管理服务器，降低了开发者的运维成本，提高了开发效率。针对多模态数据进行了优化，支持图像、文本、音频等多种数据类型，提高了数据库在处理复杂数据时的效率。提供了友好的API接口和可视化工具，使得开发者能够轻松地集成和使用数据库。
缺点：2023年才推出，属于非常新的数据库，不管是功能开发还是社区运营都还不够成熟。

PGVector

网站：超链接登录可见。



PGVector 是一个基于 PostgreSQL 的扩展插件，旨在提供强大的向量存储和查询功能。它利用 C 语言实现了多种向量数据类型和运算算法，并能够高效地存储与查询以向量表示的 AI Embedding。PGVector 支持精确和近似最近邻搜索，能够快速找到高维空间中的相似数据点。它还支持多种向量计算算法和数据类型，如 L2 距离、内积和余弦距离等。适用于向量搜索功能不是系统核心，或者项目前期快速上线的场景。

优点：PGVector 可以无缝集成到现有的 PostgreSQL 数据库中，用户无需迁移现有的数据库即可开始使用向量搜索功能。因为是PostgreSQL插件，借助 PostgreSQL 的长期开发和优化，PGVector 继承了其可靠性和稳健性，同时在向量化处理方面进行了增强。
缺点：相比于专用向量数据库，性能和资源利用等方面的优化还略显不足。

Qdrant

网站：超链接登录可见。



Qdrant 是一个开源的向量数据库，同时提供云托管服务，在2021年推出，专为下一代 AI 应用设计。提供了方便的 API 来存储、搜索和管理点（即向量），并带有附加有效负载以扩展过滤支持。多种索引类型，包括Payload索引、全文索引和向量索引，这使其能够高效地处理高维数据。此外，Qdrant 使用自定义 HNSW 算法进行快速准确的搜索，并允许基于相关向量有效载荷的结果过滤。这些特性使得 Qdrant 在神经网络或基于语义的匹配、多面搜索和其他应用方面非常有用。Qdrant 的强大之处在于其语义搜索和相似性匹配功能，使得图片、语音、视频搜索以及推荐系统等业务场景得以轻松实现。

优点：出色的文档，可以帮助开发人员轻松通过 Docker 启动和运行。它完全用 Rust 构建，提供开发人员可以通过其 Rust、Python 和 Golang 客户端使用的 API，这些是当今后端开发人员最流行的语言。Qdrant支持多种优化策略，如索引优化、查询优化等。同时还支持分布式部署和水平扩展，以满足大规模数据处理的需求。
缺点：项目相对较新，没有足够的时间验证。应对业务量增长时，只能在服务级别上的横向扩展。只支持静态分片。根据Zilliz的报告来看，随着向量数据库中非结构化数据元素数量的增长，数据存储量大，查询效率可能会受到影响。

Milvus/Zilliz Cloud

Milvus 网站：超链接登录可见。
Zilliz 网站：超链接登录可见。



Milvus是一个2019年开源的纯向量数据库，基于FAISS、Annoy、HNSW等知名向量搜索库构建，并进行了优化，适用于需要快速进行相似性搜索的场景。而Zilliz Cloud则是基于Milvus开发的云原生向量数据库服务，旨在提供更便捷、高性能的管理和扩展能力。简而言之，Zilliz是Milvus的云托管商业化版本，这也是数据库领域比较成功的一种商业模式。

优点：由于在向量数据库生态系统中存在已久，因此数据库非常成熟，拥有大量算法。提供了很多向量索引选项，并且从头开始用 Golang 构建，具有极高的可扩展性。截至 2023 年，它是唯一一家提供可行 DiskANN 实现的主流供应商，据说这是最高效的磁盘向量索引。
缺点：Milvus 似乎是一个在可扩展性问题上拼尽全力的解决方案——它通过代理、负载均衡器、消息代理、Kafka 和 Kubernetes 7 的组合实现了高度的可扩展性，这使得整个系统非常复杂且资源密集。客户端 API（例如 Python）也不像 Weaviate 和 Qdrant 等较新的数据库那样可读或直观，后者往往更注重开发人员的体验。Milvus 的构建理念是将数据流式传输到向量索引，以实现大规模可扩展性，在许多情况下，当数据量不是太大时，Milvus 似乎有些过犹不及。对于更静态和不频繁的大规模情况，Qdrant 或 Weaviate 等替代方案可能更便宜，并且可以在生产中更快地启动和运行。

其他

Redis：超链接登录可见。
Pinecone：超链接登录可见。
Weaviate：超链接登录可见。
FAISS：超链接登录可见。、超链接登录可见。
Elasticsearch：超链接登录可见。
SQL Server：超链接登录可见。

参考：
超链接登录可见。
超链接登录可见。
超链接登录可见。
超链接登录可见。