Milvus官方版

Milvus简介

Milvus提供矢量数据库管理功能，可以帮助用户在软件中管理数据。您可以为自己的企业创建数据管理方案。您可以在软件中设置它，创建数据索引方案，过滤标量数据，这使用户更容易管理数据和处理TB级数据文件。基于Python软件开发，可以通过代码创建新的向量，通过代码创建新的分区，每个分区都可以创建分区管理数据，方便以后建立数据索引，每个分区都可以创建相应的索引内容，为查询和转换数据提供便利。如果需要建立矢量型数据库，可以用Milvus软件开发！

Milvus软件功能

1.综合相似指数

Milvus支持各种常用的相似度计算指标，包括欧氏距离、内积、汉明距离、提花距离等。可以根据应用需求选择最有效的向量相似度计算方法。

2.行业领先的能力

Milvus基于Appximate最近邻搜索(ANNS)高度优化的索引数据库，包括faiss、惹恼、hnswlib等。您可以为不同的使用场景选择不同的索引类型。

3.动态数据管理

您可以随时插入、删除、搜索和更新数据，而不受静态数据的困扰。

4.近实时搜索

插入或更新数据后，几乎可以立即搜索插入或更新的数据。Milvus负责确保搜索结果的准确性和数据的一致性。

5.性价比高

Milvus通过充分利用现代处理器的并行计算能力，有可能在一台通用计算机上完成数十亿数据的毫秒级搜索。

6.支持多种数据类型和高级搜索。

Milvus数据记录中的字段支持多种数据类型。您还可以对一个或多个字段使用高级搜索，例如筛选、排序和聚合。

7.高度可扩展和可伸缩

您可以在分布式环境中部署Milvus。如果要扩展或增加集群的容量，只需添加节点即可。

8.云原生

您可以在公共云、私有云或混合云上轻松运行Milvus。

9.使用方便

Milvus提供了易于使用的Python、Java、Go和C++ SDK，还提供了RESTful API。

Milvus软件特色

1.异构计算优化了基于u

TB级数据的毫秒级搜索可以在一台通用计算机上完成。

动态数据管理。

二是支持主流的索引库、距离计算方法和监控工具，集成Faiss、NMSLIB、aury等矢量索引库。

支持基于量化的索引、基于图的索引和基于树的索引。

相似度计算方法包括欧氏距离(L2)、内积(IP)、汉明距离、贾卡距离等。

Pmetheus用作监控和性能指标的存储方案，Grafana用作数据显示的可视化组件。

三.近实时搜索默认情况下，Milvus中插入的数据可以在1秒后进行搜索。

第四，标量场过滤(即将上线)支持向量和标量数据。

标量数据可以被过滤以增强搜索的灵活性。

Milvus教程

什么是Mishalds？Mishalds是用Python开发的Milvus集群分片中间件，内部处理请求转发、读写分离、水平扩展和动态扩展，为用户提供了Milvus内存和计算能力可以扩展的实例。

mish LDS简单工作原理mish LDS负责拆分上游请求，路由到内部子服务，最后汇总子服务结果返回上游。

错误的目标场景

Mishards适合大数据规模的搜索场景。那么，如何判断数据的大小呢？这个问题没有标准答案，因为这取决于实际生产环境中使用的硬件资源。这里有一个判断数据大小的简单方法:

1.如果不关心延迟，当数据大小大于单个硬盘的可用容量时，可以认为这种场景的数据量很大。例如，对于每批5000个查询请求，服务器的计算时间比数据从硬盘加载到内存的时间要长。此时，硬盘的可用容量作为判断数据规模的标准。

2.如果关心延迟，当数据大小大于单个平台上的可用内存时，也可以认为这个场景有很大的数据大小。

基于Mishards的集群方案总体架构

主要组件服务发现:获取读写节点的服务地址。

负载平衡器

Mishards节点:无状态且可扩展。

Milvus写节点:单节点；无法展开。为了避免单点故障，有必要为此节点部署高可用性高可用性方案。

Milvus读取节点:有状态，可以展开。

共享存储服务:Milvus读写节点通过共享存储服务共享数据，可以选择NAS或NFS。

元数据服务:目前只支持MySQL。MySQL高可用性方案需要部署在生产环境中。

错误的配置全局配置

元数据记录了底层数据的组织结构。在分布式系统中，Milvus写节点是元数据的唯一生产者，而Mishards节点，Milvus写节点和读节点都是元数据的消费者。目前版本的Milvus只支持MySQL和SQLite作为元数据的存储后端。

在分布式系统中，元数据的存储后端只能是MySQL。

发现服务发现为Mishards提供所有Milvus读写节点的地址。Mishards定义了相关的服务发现接口IServiceRegistryPvider，并提供了通过插件模式进行扩展的可能性。目前默认提供两个插件:KubernetesPvider对应Kubernetes集群；StaticPvider对应静态配置。您可以通过模仿这两个插件的实现来定制自己的服务发现插件。

链路跟踪分布式系统是复杂的，请求经常被分配给多个内部服务调用。为了方便定位问题，我们需要跟踪内部服务调用链。系统越复杂，可行的链路跟踪系统的好处就越明显。我们选择了已经进入CNCF的开放跟踪分布式跟踪标准，开放跟踪提供平台和厂商独立的API，方便开发者实现链接跟踪系统。

Mishards定义了相关的链接跟踪接口，并提供了通过插件模式进行扩展的可能性。目前默认提供基于Jaeger的插件。

群集服务日志文件分布在不同的服务节点上，因此在排除问题时，您需要登录以获取日志。建议使用ELK日志分析组件分析多个日志文件，协同解决问题。

Routing Mishards从服务发现中心获取Milvus读写节点的地址，通过元数据服务获取底层数据元素。Mishards的路由策略是对这些材料的一种消耗。如图所示，共有10个数据段(s1，s2，s3，…，s10，S10)。现在，根据数据段的名称选择一致的哈希路由策略。Mishards会将与s1、s4、s6和s9数据段相关的请求路由到Milvus 1节点，将与s2、s3和s5数据段相关的请求路由到Milvus 2节点，将与s7、s8和s10数据段相关的请求路由到/。

Mishards定义与路由策略相关的接口，并通过插件提供扩展。您可以遵循默认的一致哈希路由插件，并根据自己的业务特点定制个性化路由。

基本情况您可以在Milvus Helm图表中找到Milvus-Helm支持的所有参数。

1.配置了一个具有多个读取节点和多个Mishards分片中间件的集群。

我们通常配置多个节点来保证服务的可用性和提高吞吐量。以下示例部署了Mishards集群，该集群包括2个碎片中间件、2个读取节点和1个写入节点。

这里，副本集的数量由mishards.replica和readonly.replica控制。默认值为1。

Mishards群集中的写入节点暂时不支持扩展。

2.使用外部配置的MySQL集群作为元数据数据库。

为了支持本地部署，有些情况需要支持外部MySQL。Milvus-Helm内部的MySQL服务不能保证高可用性，但是可以通过外部的MySQL集群来提高可用性。下面的例子是基于外部MySQL的部署。

如果使用外部MySQL，则不再需要Helm内置的MySQL服务。这里，mysql.enabled用于关闭Helm内置的mysql服务。

3.Milvus的读写节点分别使用不同的配置。

为了更合理地使用资源，我们希望读节点和写节点有不同的配置。以下示例配置了一个具有16 GB内存的读取节点和一个具有8 GB内存的写入节点。

4.配置U资源。

u可以有效提高Milvus的能量。以下示例允许写节点通过gpu.enabled=true来使用U资源，而readonly.gpu.enabled=false则禁止读节点使用U资源。