Quickwit发布版本历程


发布于 2024-08-18 / 29 阅读 / 0 评论 /
Quickwit 是一个用于日志管理和分析的开源、云原生、分布式搜索引擎。

Quickwit发布版本内容参考https://github.com/quickwit-oss/quickwit/blob/main/CHANGELOG.md#081

v0.x

这个系列包含以下发布版本。

v0.1.0(2021-07-13)

开源后的第一个发布版本

v0.2.0(2022-01-12)

开源后的第二个发布版本

v0.2.1(2022-02-28)

这是一个bigfux版本,附带小部分特性,特性有:

(1)分发到叶子结点前进行索引结构校验

(2)支持自定义S3端点

(3)同时预热词法和快速字段

安全上的改进项有:

(1)这个版本基于Rust 1.58.1编译,修复CVE-2022-21658漏洞。

v0.3.0(2022-05-31)

这个版本新增以下特性:

(1)新增嵌入式UI,用于展示查询命中和集群状态

(2)使用JSON字段的无模式索引

(3)Ingest API(兼容Elasticsearch)

(4)聚合查询

(5)支持Amazon Kinesis流平台

v0.3.1(2022-06-22)

这是一个bugfix版本,同时新增以下特性:

(1)支持Google Cloud Storage

(2)在查询UI中,对命中数据根据时间戳顺序排序

(3)对字段映射添加description属性

(4)在quickwit split list命令输出中展示分离状态

v0.4.0(2022-12-03)

这个版本新增以下特性:

(1)支持boolean、datetime、ip地址等字段类型

(2)支持中文token

(3)分布式索引(目前仅支持kafka)

(4)gRPC元数据服务端

(5)索引分区

(6)云原生部署支持,部署在kubernetes上。

(7)Node配置模板

(8)Prometheus监控指标

(9)过期保留策略

(10)通过REST API进行索引和数据的CRUD操作

(11)支持Azure Blob存储

(12)支持BM25文档计分

(13)支持删除

(14)支持短语查询中的拼写错误

(15)支持snippeting

(16)默认文档存储块改为1MB,压缩算法改为ZSTD

安全上也有改进:

(1)在存储上禁止在path中添加“..”来定位资源

v0.5.0(2023-03-16)

这个版本新增以下特性:

(1)gRPC OpenTelemetry Protocol支持全链路监控系统和日志云系统

(2)控制层,用于索引任务的调度

(3)对Ingest API的调用频率限制策略

(4)新增Pulsar源

(5)数据源的VRL转换

(6)REST API响应体比较大时,进行压缩

v0.6.0(2023-06-03)

这个版本新增以下特性:

(1)兼容Elasticsearch/Opensearch API

(2)新的列存储格式

(3)支持字段前缀查询和范围查询

(4)新增arm64 docker镜像

(5)REST API的跨域配置(CORS)

v0.6.x系列还有5个bugfix版本,从v0.6.1(2023-06-12)到v0.6.5(2023-12-11)

v0.7.0(2024-01-05)

这个版本新增以下特性:

(1)兼容Elasticsearch API

(2)基于HTTP API的OTLP场景

(3)新增查询器的分片缓存

(4)任意数据源的OTLP数据链路跟踪

(5)查询性能提升

(6)索引性能提升

(7)gRPC请求负载从10MB提升到20MB

v0.8.0(2024-03-19)

这个版本新增以下特性:

(1)处理SIGTERM信号

(2)限制merge并发度

(3)索引模板API,自动创建索引(仅Ingest V2 API)

(4)REST端点把一个查询转换为查询语法树

v0.8.x有2个bugfix版本,从v0.8.1(2024-03-30)到v0.8.2(2024-06-18)