使用 KSQL 将转换应用于卡夫卡数据流

我们正在学习更多关于KSQL 的信息, 这是阿帕卡的 SQL 流引擎。一种查询语言, 可用于表示, 然后将转换应用于通过流式卡夫卡流传递的数据。KSQL 结合了查询语言和卡夫卡的数据流的力量, 使用流行的平台构建实时数据管道和流式应用程序, 以提供更精确、更有意义的数据流。

使用 KSQL 到卡夫卡实时数据流的一些最常见的用例是:

• 将架构应用于数据。
• 筛选和掩蔽数据。
• 更改数据结构。
• 更改序列化格式。
• 丰富的数据流。
• 统一多个数据流。

在数据流的顶部提供查询语言层反映了我们如何移动数据的演变。查询不仅仅是获取存储中的数据;它可以很容易地在传输数据。允许我们在企业中移动数据时进行查询, 然后还可能通过 web API 提供它, 从而使数据消耗更加精确, 并为每个用户量身定做。

我们正在努力更好地了解组织如何让卡夫卡工作, 并使用 KSQL 来传递他们的主题流。我们的一些客户正在将 Streamdata 的. io 卡夫卡连接器工作在我们的服务的前提版本。我们希望确保我们的解决方案与他们使用卡夫卡的方式一致, 帮助实现 http 数据流的最后一英里分布, 帮助提高卡夫卡的工业级能力, 使用服务器发送的事件发送 HTTP 流 (SSE)。, 使用 JSON 修补程序提供增量更新。