v1.2.0

版本介绍

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:1.2.0

havenask-federation（简称fed）1.2.0版本包含如下highlight特性：

• 支持带过滤条件的向量索引，支持向量检索带filter功能；
• 添加对oss repository的支持，支持备份和恢复havenask索引；
• 支持dsl2sql，完善query语法、支持knn query以及knn filter；
• 支持scroll和reindex havenask索引；
• 添加了fed作为llm向量数据库的demo；

具体见：v1.2.0 release notes

更新内容

• Update README.md，升级fed版本到1.1.0 by @weizijun in #468
• 优化用户自定义schema时的合并逻辑 by @Huaixinww in #471
• 增加对带类目向量索引的相关校验和测试 by @Huaixinww in #469
• 使用内置的RestClient替代OkHttp库 by @weizijun in #472
• 优化lucene segment metadata的更新逻辑 by @Huaixinww in #473
• 向量索引参数增加proxima.oswg.streamer.segment_size参数 by @Huaixinww in #474
• 修复向量索引proxima.oswg.streamer.segment_size参数未写入schema的问题 by @Huaixinww in #475
• 升级havenask版本到1.1.5，支持向量检索带filter功能 by @weizijun in #476
• _havenask/sql接口支持在request body中配置query语句 by @Huaixinww in #477
• 修复_havenask/sql接口可能抛出不符合预期的异常 by @Huaixinww in #478
• 添加对oss repository的支持 by @weizijun in #481
• 优化向量索引参数配置模块代码, 修复参数名配置错误的问题 by @Huaixinww in #482
• 优化在数据无写入情况下的checkpoint更新策略 by @weizijun in #483
• 支持备份和恢复havenask索引 by @weizijun in #479
• 向量索引构建线程设置默认值 by @weizijun in #485
• 支持一些havenask索引参数动态更新 by @weizijun in #487
• 移植本地可以运行的internalClusterTest下的测试到test目录下 by @Huaixinww in #489
• 优化HavenaskStore的renameTempFilesSafe流程, 修复internalClusterTest存在的bad case by @Huaixinww in #488
• 优化fed集成测试框架,支持run havenask进程来测试internalClusterTest by @Huaixinww in #490
• 修复restore的索引名称不一致时，entry_table的路径异常问题 by @weizijun in #491
• 修改gradle镜像地址为国内地址, 增加dev环境配置脚本 by @Huaixinww in #492
• 支持将dsl转成havenask sql，提交框架代码 by @weizijun in #493
• 修复log格式问题 by @Huaixinww in #494
• dsl2sql支持knn query,并支持了knn filter by @weizijun in #496
• 修复entry_table在restore时，havenask目录地址不同导致的文件找不到问题 by @weizijun in #497
• 完善Query语法，支持Query语法的terms、match_phrase、query_string、exists by @weizijun in #500
• 支持scroll和reindex havenask索引 by @Huaixinww in #499
• 在写入队列满的时候，继续重试直到写入成功 by @weizijun in #504
• 增加dsl2sql报错的dsl和source转成ha3 doc的调试日志 by @weizijun in #505
• qrs sql接口使用post传递sql语句 by @weizijun in #506
• 优化fetch阶段根据_id召回source的sql语句 by @Huaixinww in #507
• 修复scroll未更新keepAliveTime导致超时以及server的scroll test失败的问题 by @Huaixinww in #508
• 修复写入带routing值导致的havenask索引路由异常问题 by @weizijun in #510
• 支持WrapperQuery by @weizijun in #511
• 优化fed查询与清理scroll id的逻辑，降低和server代码的耦合 by @Huaixinww in #512
• 修复fed debug模式下执行sql语句报错问题 by @Huaixinww in #515
• 删除索引后异步移除索引runtime目录时增加重试, 避免删除失败 by @Huaixinww in #513
• qrs sql接口post body使用UTF-8编码 by @Huaixinww in #516
• 修复在checkpoint不变的情况下，havenask checkpoint更新异常 by @weizijun in #518
• 完善javaRestTest，适配新版本 by @Huaixinww in #520
• 增加fed作为LLM向量数据库的demo by @Huaixinww in #480
• 升级fed版本到1.2.0 by @Huaixinww in #521

Full Changelog: v1.1.0...v1.2.0

v1.1.0

版本介绍

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:1.1.0

havenask-federation（简称fed）1.1.0版本包含如下highlight特性：

• 增加对中文分词器jieba分词器的支持，具体见：使用jieba分析器进行中文分词
• 向量索引增加对带有类目向量索引的支持，具体见：Fed对havenask向量索引的支持

具体见：https://github.com/alibaba/havenask-federation/wiki/v1.1.0-release-notes

更新内容

• Update README.md，更新release版本和修复部分文案 by @weizijun in #450
• Update README.md，增加fed特色介绍 by @weizijun in #452
• 增加对中文分词器jieba分词器的支持 by @Huaixinww in #454
• http请求参数默认设置为100mb，解决sql过长时请求报错问题 by @weizijun in #456
• 修复启动时，MetaDataSyncer偶尔出现的NPE问题 by @Huaixinww in #457
• recovery sendFiles判断是havenask索引才过滤长度大于0的文件 by @weizijun in #458
• 还原bootstrap.system_call_filter为true的默认配置 by @weizijun in #459
• DefaultFetchPhase重命名回FetchPhase，sendFiles方法调整回原可见性 by @weizijun in #460
• 重命名一些不符合规范的包名 by @Huaixinww in #461
• 修复用户自定义havenask引擎配置API的npe问题 by @Huaixinww in #462
• 根据mappings生成schema时，将_id放在最前面，以支持带类目向量索引的需求 by @Huaixinww in #463
• 增加对带有类目向量索引的支持 by @Huaixinww in #464
• fed版本号到升级到1.1.0 by @weizijun in #465

Full Changelog: v1.0.0...v1.1.0

v1.0.0

版本介绍

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:1.0.0

havenask-federation（简称fed）1.0.0版本是fed发布的第一个release版本，包含如下highlight特性：

• 支持fed完整的分布式功能，具备高可用、高可靠、弹性伸缩能力。可以创建多shard、多replica索引
• 支持分布式版havenask引擎
• peer-recovery（从远端节点恢复数据）支持恢复havenask索引
• 支持自定义havenask引擎配置
• 若干功能、性能优化，包括支持自定义分片路由字段，加速索引stats信息查询等

具体见：https://github.com/alibaba/havenask-federation/wiki/v1.0.0-release-notes

更新内容

• peer-recovery优化空目录的size，返回0，在checksum记录文件类型 by @weizijun in #326
• 记录havenask engine写入的完整耗时 by @weizijun in #328
• 重新支持多shard索引 by @weizijun in #330
• partition编号根据索引shard数量和编号计算出来 by @weizijun in #329
• 修复传递_source为false时仍然返回source的问题 by @Huaixinww in #332
• 内部表in0默认创建2个partition，支持searcher创建随机partition数量的表 by @weizijun in #333
• 支持havenask索引使用havenask的路由算法分配shard by @weizijun in #334
• qrs调整为协调节点的部署方面适配 by @Huaixinww in #335
• 异步清理删除索引后runtimedata相关的数据信息，加锁解决反复创建删除索引导致的并发问题 by @Huaixinww in #327
• 修复havenask启动脚本获取partition count异常 by @weizijun in #336
• qrs启动时不load target，交给fed的元数据同步模块来完成 by @weizijun in #337
• get方法，查询count支持根据按partition id查询 by @weizijun in #338
• 修改havenask port的setting名称，以node.attr.开头，可以通过DiscoveryNode在节点间传递 by @weizijun in #341
• search接口在查询到havenask索引时，将请求转发到havenask search模块中 by @weizijun in #340
• qrs由datanode调整为协调节点，元数据同步模块适配 by @Huaixinww in #339
• 使用havenask支持分布式功能的最新镜像，并进行相关适配 by @weizijun in #342
• 修复search接口查询havenask索引时转发到havenask search模块的索引类型判断异常 by @Huaixinww in #344
• 优化shard级别变更时更新qrs的判断逻辑 by @Huaixinww in #349
• search接口对分布式的适配 by @Huaixinww in #348
• 增加merge参数，可以支持merge存量的segment by @weizijun in #350
• 更新havenask支持分布式的镜像到0.3版本 by @weizijun in #351
• Engine层直接查qrs，改成查询fed sql接口 by @weizijun in #352
• cache doc stats，解决shard太多，stats接口的性能问题 by @weizijun in #353
• store stat为-1会报错，修改为0 by @weizijun in #355
• 优化segment文件目录检测，包含version文件的目录无需初始化 by @weizijun in #356
• search接口不传递size、from时，默认值设置为10 by @Huaixinww in #358
• 增加index.havenask.write.queue.size参数，可以自定义设置索引的queue size by @weizijun in #359
• 更新havenask支持分布式的镜像到0.4版本，修复多partition写入异常 by @weizijun in #361
• 修改totalHits值的获取，当from太大导致fetch结果为0时将totalHits置为0 by @Huaixinww in #362
• sleep抛出的异常时，直接抛出方法能处理的异常 by @weizijun in #360
• 修复havenask config配置schema异常问题 by @weizijun in #363
• 修复反复创建删除相同索引时没有正确加锁的问题 by @Huaixinww in #357
• 支持searcher启动时不加载target，由fed加载 by @weizijun in #365
• 支持调用searcher的queryTable接口查询shard内的主键数据 by @weizijun in #367
• havenask action接口名称的优化，更好适配security特性 by @weizijun in #368
• 在写入retry时，记录retry的原因 by @weizijun in #373
• 优化locator的logger，logger.trace打印updateHeartbeatTarget请求的耗时 by @Huaixinww in #372
• deleteShardDirectoryUnderLock方法增加判断是否是havenask索引 by @Huaixinww in #374
• qrs target的随机version改为每次增大随机值 by @weizijun in #377
• searcher的client从节点级别调整为shard级别 by @weizijun in #376
• 解决security权限问题导致的get count结果不对问题 by @weizijun in #375
• 支持index routing功能，可以根据source中字段进行数据分片 by @weizijun in #378
• 增加index.havenask.hash.field参数，支持配置havenask的hash field by @weizijun in #379
• 修复索引名中含有中划线时，sql会报错的问题 by @Huaixinww in #382
• Update README.md，修改fed镜像版本 by @weizijun in #383
• searcher arpc接口retry时记录最终的返回结果 by @weizijun in #384
• docsStatsCache优化，在获取doc count异常时，可以使用之前的doc count by @weizijun in #386
• version.publish文件一直在增加，在refresh时定期清理version.public文件 by @weizijun in #387
• schema的一些默认参数优化 by @weizijun in #390
• get count查询的sql，支持中划线 by @weizijun in #391
• 更新向量索引适配v2参数的unit test by @Huaixinww in #392
• 优化删除索引时，checkShardIsDeletedInSearcher的逻辑 by @Huaixinww in #393
• searcher中添加table group信息，并使用havenask最新镜像 by @weizijun in #394
• 修复testCleanVersionPublishFiles偶尔失败的case by @weizijun in #396
• 修复havenask配置partCount不准的问题 by @weizijun in #397
• 优化MetaDataSyncer.getIndexNames方法 by @Huaixinww in #399
• 增加单节点havenask索引shard数量的限制 by @Huaixinww in #400
• 修复字段名中含有中划线时，sql会报错的问题 by @Huaixinww in #401
• havenask镜像更新为table_group2版本 by @weizijun in #403
• 修复search接口查询不到Object对象的子fieldname的问题 by @Huaixinww in #405
• 修复ingest转发的节点列表不更新问题 by @weizijun in #406
• 查询doc count时如果返回空行，则返回docCount为0 by @weizijun in #407
• 修改main接口，适配esrally压测 by @weizijun in #408
• 适配分布式相关的javaRestTest by @Huaixinww in #409
• 增加分片路由相关的javaRestTest by @Huaixinww in #410
• 优化search接口对于object对象fieldname的解析 by @Huaixinww in #411
• 适配之前分布式架构在多节点情况下的search接口 by @Huaixinww in #413
• 优化term、match查询对object对象fieldname的解析 by @Huaixinww in #415
• 支持table group配置unpublish_part_ids by @weizijun in #414
• 优化doc stats的缓存机制 by @weizijun in #416
• MetaDataSyncerTests增加对table group配置unpublish_part_ids的测试 by @Huaixinww in #417
• 完善SearchIT相关内容 by @Huaixinww in #418
• havenask表参数优化 by @weizijun in #419
• 使用havenask for fed的public的镜像 by @weizijun in #420
• Update README.md, 使用1.0.0.beta1镜像 by @weizijun in #422
• 由于文件可能被havenask修改，增加重试来防止文件异常 by @weizijun in #424
• javaRestTest适配havenask表参数优化 by @Huaixinww in #425
• 更新havenask镜像，解决target更新慢问题，以及修复反复打印thread pool [SuezDp] is full问题 by @weizijun in #426
• 修复解析entry_table可能存在的bad case by @Huaixinww in #427
• 去掉keep_version_hour参数，解决压测时version文件过多问题 by @weizijun in #428
• 优化recovery流程，去掉directory的listall，防止其他地方调用性能差 by @weizijun in #429
• match query默认使用or作为term逻辑运算符 by @weizijun in #430
• 访问havenask http接口超时时间由默认的10s改为120s by @weizijun in #432
• fed分布式适配kill havenask searcher的rest接口 by @Huaixinww in #431
• Update README.md，更新群二维码图片大小 by @weizijun in #433
• 增加创建havenask索引时支持配置havena...

v1.0.0.beta1 release notes

版本介绍

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:1.0.0.beta1

havenask-federation（简称fed）1.0.0版本是fed发布的第一个release版本，包含如下highlight特性：

• 支持fed完整的分布式功能，具备高可用、高可靠、弹性伸缩能力。可以创建多shard、多replica索引
• 支持分布式版havenask引擎
• peer-recovery（从远端节点恢复数据）支持恢复havenask索引
• 若干功能、性能优化，包括支持自定义分片路由字段，加速索引stats信息查询等

具体见：https://github.com/alibaba/havenask-federation/wiki/v1.0.0-release-notes

更新内容

• peer-recovery优化空目录的size，返回0，在checksum记录文件类型 by @weizijun in #326
• 记录havenask engine写入的完整耗时 by @weizijun in #328
• 重新支持多shard索引 by @weizijun in #330
• partition编号根据索引shard数量和编号计算出来 by @weizijun in #329
• 修复传递_source为false时仍然返回source的问题 by @Huaixinww in #332
• 内部表in0默认创建2个partition，支持searcher创建随机partition数量的表 by @weizijun in #333
• 支持havenask索引使用havenask的路由算法分配shard by @weizijun in #334
• qrs调整为协调节点的部署方面适配 by @Huaixinww in #335
• 异步清理删除索引后runtimedata相关的数据信息，加锁解决反复创建删除索引导致的并发问题 by @Huaixinww in #327
• 修复havenask启动脚本获取partition count异常 by @weizijun in #336
• qrs启动时不load target，交给fed的元数据同步模块来完成 by @weizijun in #337
• get方法，查询count支持根据按partition id查询 by @weizijun in #338
• 修改havenask port的setting名称，以node.attr.开头，可以通过DiscoveryNode在节点间传递 by @weizijun in #341
• search接口在查询到havenask索引时，将请求转发到havenask search模块中 by @weizijun in #340
• qrs由datanode调整为协调节点，元数据同步模块适配 by @Huaixinww in #339
• 使用havenask支持分布式功能的最新镜像，并进行相关适配 by @weizijun in #342
• 修复search接口查询havenask索引时转发到havenask search模块的索引类型判断异常 by @Huaixinww in #344
• 优化shard级别变更时更新qrs的判断逻辑 by @Huaixinww in #349
• search接口对分布式的适配 by @Huaixinww in #348
• 增加merge参数，可以支持merge存量的segment by @weizijun in #350
• 更新havenask支持分布式的镜像到0.3版本 by @weizijun in #351
• Engine层直接查qrs，改成查询fed sql接口 by @weizijun in #352
• cache doc stats，解决shard太多，stats接口的性能问题 by @weizijun in #353
• store stat为-1会报错，修改为0 by @weizijun in #355
• 优化segment文件目录检测，包含version文件的目录无需初始化 by @weizijun in #356
• search接口不传递size、from时，默认值设置为10 by @Huaixinww in #358
• 增加index.havenask.write.queue.size参数，可以自定义设置索引的queue size by @weizijun in #359
• 更新havenask支持分布式的镜像到0.4版本，修复多partition写入异常 by @weizijun in #361
• 修改totalHits值的获取，当from太大导致fetch结果为0时将totalHits置为0 by @Huaixinww in #362
• sleep抛出的异常时，直接抛出方法能处理的异常 by @weizijun in #360
• 修复havenask config配置schema异常问题 by @weizijun in #363
• 修复反复创建删除相同索引时没有正确加锁的问题 by @Huaixinww in #357
• 支持searcher启动时不加载target，由fed加载 by @weizijun in #365
• 支持调用searcher的queryTable接口查询shard内的主键数据 by @weizijun in #367
• havenask action接口名称的优化，更好适配security特性 by @weizijun in #368
• 在写入retry时，记录retry的原因 by @weizijun in #373
• 优化locator的logger，logger.trace打印updateHeartbeatTarget请求的耗时 by @Huaixinww in #372
• deleteShardDirectoryUnderLock方法增加判断是否是havenask索引 by @Huaixinww in #374
• qrs target的随机version改为每次增大随机值 by @weizijun in #377
• searcher的client从节点级别调整为shard级别 by @weizijun in #376
• 解决security权限问题导致的get count结果不对问题 by @weizijun in #375
• 支持index routing功能，可以根据source中字段进行数据分片 by @weizijun in #378
• 增加index.havenask.hash.field参数，支持配置havenask的hash field by @weizijun in #379
• 修复索引名中含有中划线时，sql会报错的问题 by @Huaixinww in #382
• Update README.md，修改fed镜像版本 by @weizijun in #383
• searcher arpc接口retry时记录最终的返回结果 by @weizijun in #384
• docsStatsCache优化，在获取doc count异常时，可以使用之前的doc count by @weizijun in #386
• version.publish文件一直在增加，在refresh时定期清理version.public文件 by @weizijun in #387
• schema的一些默认参数优化 by @weizijun in #390
• get count查询的sql，支持中划线 by @weizijun in #391
• 更新向量索引适配v2参数的unit test by @Huaixinww in #392
• 优化删除索引时，checkShardIsDeletedInSearcher的逻辑 by @Huaixinww in #393
• searcher中添加table group信息，并使用havenask最新镜像 by @weizijun in #394
• 修复testCleanVersionPublishFiles偶尔失败的case by @weizijun in #396
• 修复havenask配置partCount不准的问题 by @weizijun in #397
• 优化MetaDataSyncer.getIndexNames方法 by @Huaixinww in #399
• 增加单节点havenask索引shard数量的限制 by @Huaixinww in #400
• 修复字段名中含有中划线时，sql会报错的问题 by @Huaixinww in #401
• havenask镜像更新为table_group2版本 by @weizijun in #403
• 修复search接口查询不到Object对象的子fieldname的问题 by @Huaixinww in #405
• 修复ingest转发的节点列表不更新问题 by @weizijun in #406
• 查询doc count时如果返回空行，则返回docCount为0 by @weizijun in #407
• 修改main接口，适配esrally压测 by @weizijun in #408
• 适配分布式相关的javaRestTest by @Huaixinww in #409
• 增加分片路由相关的javaRestTest by @Huaixinww in #410
• 优化search接口对于object对象fieldname的解析 by @Huaixinww in #411
• 适配之前分布式架构在多节点情况下的search接口 by @Huaixinww in #413
• 优化term、match查询对object对象fieldname的解析 by @Huaixinww in #415
• 支持table group配置unpublish_part_ids by @weizijun in #414
• 优化doc stats的缓存机制 by @weizijun in #416
• MetaDataSyncerTests增加对table group配置unpublish_part_ids的测试 by @Huaixinww in #417
• 完善SearchIT相关内容 by @Huaixinww in #418
• havenask表参数优化 by @weizijun in #419
• 使用havenask for fed的public的镜像 by @weizijun in #420

v0.5.0 release notes

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:0.5.0

havenask-federation（简称fed）0.5.0版本包含如下highlight特性：

• 支持havenask向量引擎，具体见Fed对havenask向量索引的支持
• 支持search接口，可以支持match all、term、match query。
• havenask元数据同步模块优化，更好的支持并发创建、删除havenask索引。

具体见：https://github.com/alibaba/havenask-federation/wiki/v0.5.0-release-notes

v0.5.0.alpha2 release notes

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:0.5.0.alpha2

havenask-federation（简称fed）0.5.0版本包含如下highlight特性：

• 支持havenask向量引擎，具体见Fed对havenask向量索引的支持
• 支持search接口，可以支持match all、term、match query。
• havenask元数据同步模块优化，更好的支持并发创建、删除havenask索引。

具体见：https://github.com/alibaba/havenask-federation/wiki/v0.5.0-release-notes

v0.4.0 release notes

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:0.4.0

havenask-federation（简称fed）发布第一个版本，支持havenask单机版，包括以下highlight功能：

• 支持havenask的searcher、qrs进程管理，包括自动拉起，心跳探活等。

• 支持通过fed API对havenask数据表进行创建和删除，对数据表数据进行增删改查，fed API兼容Elasticsearch，具体兼容的API见:Fed对elasticsearch API的兼容

• 支持直写havenask功能是fed的一大特色，可以直接通过index API进行数据的实时写入，具体API见：Fed对elasticsearch-API的兼容#document相关api

• 支持havenask sql接口，具体见：Havenask sql API介绍

具体见：https://github.com/alibaba/havenask-federation/wiki/v0.4.0-release-notes