Kuiper 0.9.1 正式发布 - 超轻量 IoT 边缘流处理

日期:2020/9/22

Kuiper 团队宣布发布 Kuiper 0.9.1

Kuiper 0.9.1 可以从这里下载

EMQ X Kuiper 是 Golang 实现的轻量级物联网边缘分析、流式处理开源软件,可以运行在各类资源受限的边缘设备上。Kuiper 设计的一个主要目标就是将在云端运行的实时流式计算框架(比如 Apache SparkApache StormApache Flink 等)迁移到边缘端。Kuiper 参考了上述云端流式处理项目的架构与实现,结合边缘流式数据处理的特点,采用了编写基于源 (Source)SQL (业务逻辑处理), 目标 (Sink) 的规则引擎来实现边缘端的流式数据处理。

Kuiper 的应用场景包括:运行在各类物联网的边缘使用场景中,比如工业物联网中对生产线数据进行实时处理;车联网中的车机对来自汽车总线数据的即时分析;智能城市场景中,对来自于各类城市设施数据的实时分析。通过 Kuiper 在边缘端的处理,可以提升系统响应速度,节省网络带宽费用和存储成本,以及提高系统安全性等。

arch.png

网址:https://www.emqx.cn/products/kuiper

Github仓库: https://github.com/emqx/kuiper

概览

Kuiper 0.9.1 版本提供了一个管理控制台,用于管理 Kuiper 节点,以及流、规则和插件的可视化操作,这些功能将极大提升用户体验。

功能及问题修复

  • 可视化管理:该版本随之发布了一个单独的容器镜像,该镜像是一个基于 web 的控制台,提供了对 Kuiper 的节点管理与控制,并且实现了流、规则和插件的可视化管理;详细请参见文档

    stream.png

    上图为流创建可视化界面,用户可以在界面中选择各种消息源。

    sql.png

    上图为规则 SQL 编辑界面,系统可以在用户写 SQL 的时候给出提示。

    mqtt_sink.png

    上图为设置 MQTT sink 属性的界面,在界面上通过输入和选择相应的属性就可以实现设置

  • 二进制插件:从本版本开始,所有提交到 Github 主项目的插件在版本发布的时候会自动编译,并且会发布到 EMQ 官方网址,用户可以直接进行安装和使用。开发者在提交插件代码的时候,可以提供插件元数据文件的方式,在管理控制台中可以自动显示相关的信息,方便用户使用插件。

  • Kubernetes 配置文件分发工具的多 CPU 架构部署支持

  • 用户可以通过 kuiper.yaml 中的 disableCache 来控制是否将 sink 中转发出错的数据进行缓存

  • 增加了 Collect 函数支持,用于返回窗口中的所有数据

  • 增加了 Deduplicate 函数支持,用于支持窗口中数据的去重

  • 修复了以下问题

感谢

  • @soyoo 提供了日志打印的几个修复

Kuiper 2020 里程碑

2020 年 Kuiper 项目将持续快速发展,包括完善更多的功能、与边缘开源社区更多项目的集成,以及加入更多的持续集成测试,提高软件质量等。主要内容如下,

  • State 管理(Q3):Kuiper 将提供内置 State 支持,并支持容错恢复等功能,Kuiper 通过此功能将实现长时间窗口处理所需的持久化支持,另外也可以让用户在扩展插件过程中,通过 API 调用实现对自定义状态数据的存储
  • KubeEdge 集成(Q3/Q4):通过扩展 Device Model,使用 Kuiper 实现对于旁路(bypass)设备数据进行清洗、缓存和重传等功能
  • Kuiper 1.0.0(Q3/Q4)发布:1.0.0 版本将于 2020 年 Q3 或者 Q4 发布
  • EdgeX Hanoi 版本集成(Q4):Kuiper 将支持 EdgeX 中新加入的数组数据类型;以及支持通过 EdgeX UI 来管理 Kuiper 的流、规则等,用户在使用 Kuiper 的时候更加方便

您可以点击 Kuiper 2020 里程碑获取更加详细的信息,以及最新的更新。

联系

如果对 Kuiper 有任何问题,请随时通过 contact@emqx.io 与我们联系

为流式数据存储和实时处理而生的流数据库

全托管的 MQTT 云服务,开始 180 天免费试用

推荐阅读

Kuiper 1.1.2 正式发布 - 超轻量 IoT 边缘流处理

Kuiper 1.1.2 对函数插件进行了增强,增加了更多内置函数及规则属性,并添加了与机器学习框架 TensorFlow Lite 集成的示例。

在树莓派上搭建智能家居网关

本文将使用 树莓派 + EMQ X Edge + EMQ X Kuiper 搭建智能家居网关,实现智能家居设备数据的边缘计算处理,减少家庭私密数据外流。

MQTTX v1.5.3 正式发布 - 跨平台 MQTT 5.0 桌面客户端

MQTT X v1.5.3 正式发布,新增文件夹功能、支持拖拽连接到窗口外以创建新的窗口,并修复部分与主题相关的问题。