Apache Kafka在实时物流、运输行业运用


物流、航运和运输需要实时信息来构建高效的应用程序和创新的业务模型,通过数据流支持相关的决策、建议和警报。

这篇博文探讨了 Kafka在USPS、瑞士邮政、奥地利邮政、DHL 和 Hermes 等公司的几个真实案例研究,用例包括云原生中间件现代化、跟踪和追踪,以及预测路由和 ETA 规划。

物流和运输
物流是对复杂操作的详细组织和实施。它管理事物在原产地和消费地之间的流动,以满足客户或公司的要求。物流中管理的资源可能包括有形商品,如材料、设备和用品,以及食品和其他消耗品。

物流管理是供应链管理(SCM)和供应链工程的一部分,它计划、实施和控制货物、服务和相关信息在原产地和消费地之间高效、有效的向前流动和储存,以满足客户的要求。

在航运业使用Apache Kafka的数据流
在物流和运输领域,实时数据无处不在。Apache Kafka是实时数据流的事实上的标准。Kafka几乎在任何地方都能很好地工作。

大多数公司都有云优先战略。云中的 Kafka 作为一项完全托管的服务,使项目团队能够专注于构建应用程序并根据需要进行弹性扩展。如今,大数据分析或实时供应链控制塔等用例通常在云端运行。

本地 Kafka 部署连接到现有的 IT 基础设施,例如 Oracle 数据库、SAP ERP 系统和其他单体且通常已有十年历史的技术。

边缘要么直接连接到数据中心或云(如果网络连接相对稳定),要么运行自己 的关键任务边缘 Kafka 集群(例如,在船上)或单个代理(例如,嵌入到无人机中)在半连接或气隙环境中。


瑞士邮政:使用数据作为整个航运管道的资产进行分散式集成
瑞士邮政是瑞士的国家邮政服务。数据流是他们企业架构的根本转变。瑞士邮政有几个动机

  • 数据即资产:战略公司数据的管理和可访问性
  • 关于事件吞吐量的新要求(新包裹中心、物联网等)
  • 集成不依赖于中央开发团队(自助服务)
  • 增强组织和整合技能的发展
  • 对实时事件处理(事件驱动架构)的需求不断增长
  • 提供灵活的集成技术栈(没有一个适合所有人)

基于Kafka 的集成层处理小型事件和大型遗留文件和图像

从 ETL/ESB 集成中间件到基于事件和可扩展的 Kafka的转变是许多公司现在使用的方法:

DHL:使用云原生中间件的包裹和信件快递服务
德国物流公司 DHL 是德国邮政股份公司的子公司。DHL Express是欧洲包裹服务的市场领导者。
与瑞士邮政一样,DHL 通过数据流对其集成架构进行了现代化改造。它们通过 Kafka 和 Confluent 支持的数据流来补充 MQ 和 ESB。查看Message Queue 系统和 Apache Kafka 之间的比较,了解为什么添加 Kafka 有时比最初尝试用 Kafka 替换 MQ 更好。

在DHL,基于IBM MQ 和 Oracle Weblogic 的本地中间件在规模上挣扎,尽管“只”需要每秒发送几千条消息。
关于 DHL 的中间件迁移之旅的更多注意事项:

  • 迁移到云原生 Kubernetes 微服务基础架构
  • 计划使用集群链接迁移到 Azure 云
  • 中期:更换遗留 ESB。

一个有趣的旁注:DHL 使用 Kafka 处理相对较大的消息(70kb),导致每秒数百 MB。

奥地利邮政:使用 Kafka 在云端追踪包裹
奥地利邮政利用数据流在递送路线上端到端追踪包裹。

奥地利邮政数据流基础设施的基础设施在 Microsoft Azure 上运行。他们用自己的话评估了三种技术,结果如下:

  • Azure 事件中心(完全托管,只有 Kafka 协议,不是真正的 Kafka,有各种限制):不够灵活,有限的流处理,没有模式注册表。
  • Apache Kafka(开源,自我管理):太麻烦了。
  • Confluent Cloud on Azure(完全托管的完整平台):选定选项。

奥地利邮政的一个示例用例是关于身份代码的问题:它们不是唯一的。相反,它们可以(并且将会)被重新使用。货物可以有多个识别码。识别代码的扫描事件需要添加到正确的包裹递送“数字双胞胎”中。

Hermes:使用 CDC 和 Kafka 进行预测性交付规划
爱马仕是另一家德国快递公司。他们的目标:通过实时分析使业务决策更加受数据驱动。为实现这一目标,Hermes 集成、处理和关联由机器、公司、人员和交互生成的数据,以进行预测性交付规划。
他们利用带有 HVR 和 Kafka 的变更数据捕获 (CDC)来提供实时交付和收集服务。MongoDB 和 Redis 等数据库提供长期存储和分析功能。

USPS:Kafka 中所有关键资产的数字表示,用于实时物流
USPS(美国邮政服务)是全球最大的邮政系统。他们于 2016 年开始了 Kafka 之旅。如今,USPS 运营着一个混合多云环境,包括跨区域的实时复制。
“Kafka 处理对我们来说很重要的每一个事件,” USPS CIO Pritha Mehra 在 Current 2022 上说。Kafka 事件处理对 USPS 重要的所有资产的数字表示,包括承运人移动、车辆移动、卡车、包裹扫描等。例如,USPS每天处理 9 亿次扫描。

一个有趣的用例是立即响应白宫在 2021 年底向每个美国人免费发送 Covid 测试包的指令。该项目的上市时间为三周(!)。在 Kafka 的帮助下, USPS每小时处理多达870 万个测试包:

Baader:用于动态路由和 ETA 计算的实时物流
BAADER 是食品加工行业创新机械的全球制造商。他们在 Confluent Cloud 上运行基于物联网和数据驱动的食品价值链
基于 Kafka 的基础架构在云中作为完全托管的服务运行。它为整个食品价值链中的工厂和地区提供单一的事实来源。关键业务操作全天候 24/7 可用于跟踪、计算、警报等
MQTT 提供与边缘车辆的机器和 GPS 数据的连接。Kafka Connect 连接器集成了 MQTT 和 IT 系统,例如 Elasticsearch、MongoDB 和 AWS S3。ksqlDB 连续处理动态数据。

Shippeo:面向物流供应商、托运人和承运人的 Kafka 原生运输平台
Shippeo为物流供应商、托运人和承运人提供实时和多式联运的可见性。其软件使用自动化和人工智能来共享实时见解、实现更好的协作并释放供应链的全部潜力。该平台可以即时访问每次交付的预测性实时信息。
Shippeo 将传统数据库(MySQL 和 PostgreSQL)和云原生数据仓库(Snowflake 和 BigQuery)与 Apache Kafka 和 Debezium 集成在一起
Kafka 将分析工作负载与事务系统分离,并处理慢速消费者的背压。


物流运输行业需要Kafka原生的实时数据流!
实时数据胜过慢速数据。几乎所有地方都是如此。但是,如果没有实时信息和相关的决策、建议和警报,物流、航运和运输就无法建立高效和创新的商业模式。卡夫卡在这个行业无处不在。它才刚刚开始。