Confluent 是一家专注动态数据(Data In Motion)的公司,以开源技术 Apache Kafka 为核心打造实时的消息流平台。
Confluent Platform 是一个综合性的企业级数据流处理平台,用户能够以实时、连续的流形式,轻松地访问、存储和管理数据。它由 Apache Kafka 的原始创建者开发,不仅继承了 Kafka 的核心优势,还通过增加企业级特性来扩展其功能,同时大幅降低了对 Kafka 的管理和监控压力。Confluent Platform 通过引入高级特性,进一步增强了 Kafka 的能力,旨在加快应用程序的开发和集成,通过流处理实现数据转换,简化大规模的企业级操作,并满足严格的体系结构要求。
Confluent Platform 已广泛应用于众多行业,如金融服务、全渠道零售、自动驾驶、欺诈监测、微服务和物联网等。
Confluent Platform完整架构如下图所示:

来自官网:https://docs.confluent.io/platform/current/get-started/platform.html
功能对比
Confluent Platform与开源社区Kafka功能特性对比如下表所示:
功能类型 | 功能项 | 功能项说明 | Confluent Platform是否支持 | 开源社区Kafka是否支持 |
---|
连接器支持 | Connect | Connect | 是 | 是 |
流支持 | Stream | Stream | 是 | 是 |
多语言开发 | Clients | C++、Python、Go、.Net客户端支持 | 是 | 否 |
REST Proxy | 任何联网设备都可以通过Rest接口连接Kafka | 是 | 否 |
Admin Rest API | 通过Rest接口对Kafka集群进行管理 | 是 | 否 |
丰富的生态 | Connectors | 支持100多种连接器,包括S3、Elasticsearch、HDFS、JDBC等 | 是 | 否 |
MQTT proxy | 通过MQTT设备和网关访问Kafka | 是 | 否 |
Schema Registry | 数据结构注册中心,保障数据的结构兼容性 | 是 | 否 |
事件流数据库 | ksqlDB | 实时流处理和物化视图 | 是 | 否 |
GUI驱动的管理和监控 | Control Center | GUI页面管理和监控Kafka | 是 | 否 |
Health | 智能告警和云上监控看板 | 是 | 否 |
自动化弹性DevOps工具 | Confluent for Kubernetes | 提供完整的声明式API部署在k8s上 | 是 | 否 |
Ansible | 自动化部署和非中心化环境 | 是 | 否 |
动态性能和弹性 | 自平衡的集群 | 自动进行Broker间分区重分布 | 是 | 否 |
分级存储 | 当鲜有访问请求时,将旧的kafka数据放到对象存储 | 是 | 否 |
企业级安全 | 基于角色的访问控制 | 基于用户和用户组进行授权访问控制 | 是 | 否 |
结构化的审计日志 | 用户行为日志存储在专门的topic中 | 是 | 否 |
密钥保护 | 敏感信息加密处理 | 是 | 否 |
全球的容灾 | 多分区集群 | 单个kafka集群可横跨多个数据中心,实现客户端自动化故障转移 | 是 | 否 |
备份 | 跨数据中心的副本可用于数据迁移 | 是 | 否 |
集群连接 | 为高级云和多云部署环境提供offset保留的备份 | 是 | 否 |
企业级支持 | 专家支持 | 365*24全年24小时提供Kafka专家支持 | 是 | 否 |