Kafka im Industrial IoT (vs. MQTT)

Apache Kafka ist eine leistungsstarke Event-Streaming-Plattform, die insbesondere in hoch skalierbaren Architekturen zum Einsatz kommt. Die Hauptarchitektur von Kafka wurde mit Blick auf Durchsatz, Skalierbarkeit und Haltbarkeit von Datenströmen konzipiert. Diese Eigenschaften macht Kafka im Industrial IoT zunehmend beliebter.

Die Entstehung von Kafka: Von LinkedIn zu Open Source

Kafka wurde ursprünglich von LinkedIn entwickelt und später als Open-Source-Projekt an die Apache Software Foundation übergeben. Dabei diente Kafka dazu, die Herausforderungen von LinkedIn in Bezug auf die Verarbeitung und Bereitstellung großer Datenmengen in Echtzeit zu bewältigen. Der Name „Kafka“ wurde nach dem berühmten tschechischen Schriftsteller Franz Kafka gewählt. Dies spiegelt die Zielsetzung der robusten und fehlerfreien Datenübertragung in einer komplexen und oft chaotisch verteilten Umgebung wider.

Event-basierte Kommunikation

Kafka minimiert die Bandbreitennutzung, indem es von einer konventionellen „Poll-Response“ Verhalten (wie z.B. bei der OPC UA Client-Server Architektur) zu einem event-basierten „Publish-Subscribe“ Verhalten übergeht. Event-basiert bedeutet, ein Datenkonsument wartet auf Datenänderungen (anstelle diese zyklisch abzufragen). Dies ermöglicht eine ereignisgesteuerte Echtzeit-Kommunikation zwischen Geräten und Anwendungen innerhalb des Unternehmens und darüber hinaus. Weitere Informationen sind hier zu finden.

Die Vorteile von Kafka

Apache Kafka hat im industriellen Umfeld insbesondere folgende Vorteile:

1. Verarbeitung großer Datenmengen: Kafka kann riesige Mengen an Daten effektiv bewältigen und bietet hohe Durchsatzraten. Dies ist insbesondere bei der Verarbeitung großer Datenströme in industriellen Umgebungen essentiell.
2. Zuverlässigkeit und Fehlertoleranz: Durch die verteilte Architektur bietet Kafka eine beeindruckende Fehlertoleranz. Dadurch sichert Kafka die kontinuierliche Datenübertragung auch bei Ausfällen einzelner Systemkomponenten.
3. Skalierbarkeit: Kafka kann leicht skaliert werden, um mit dem Wachstum von Datenmengen und Anforderungen Schritt zu halten. Dies kann durch das Hinzufügen weiterer Nodes zum Kafka-Cluster erreicht werden.
4. Echtzeitkommunikation: Kafka ermöglicht es, Datenströme in Echtzeit zu verarbeiten und sicherzustellen, dass wichtige Informationen schnell an ihre Bestimmungsorte gelangen.
5. Interoperabilität: Es kann leicht mit verschiedenen Datenquellen und Senken interagieren und Daten zwischen verschiedenen Technologie-Stacks übertragen.

Kafka im Industrial IoT

Produzierende Unternehmen setzen Kafka insbesondere in Umgebungen mit großen Skalierungsanforderungen ein, um Datenströme zwischen Systemen und Anwendungen zu übertragen. Die Plattform stellt dabei sicher, dass diese Daten an alle Abonnenten in einer zuverlässigen und fehlertoleranten Weise weitergeleitet werden. Kafka gewinnt daher in folgenden Anwendungsfällen an Bedeutung:

• Kommunikation über verschiedene Schichten: Kafka findet zunehmend in großen produzierenden Unternehmen (z.B. Automotive OEMs) als Kommunikationsprotokoll für die Enterprise- und Connected-World Schicht des ISA95-Modells Einsatz. Ziel dabei ist es, Integrationskosten zu minimieren und die Skalierbarkeit der Systemarchitektur zu erhöhen. Dies ist insbesondere im Rahmen von Architekturen wie dem Unified Namespace (UNS) von Bedeutung.
• Unified Namespace (UNS): Die UNS-Architektur bietet eine zentrale, nicht-hierarchische Systemarchitektur, in der alle Fabrikdaten über eine einheitliche Namenskonvention und Datenstruktur in einem zentralen Message Broker zugänglich sind. Kafka unterstützt diesen Ansatz, indem es Datenproduzenten ermöglicht, Daten im zentralen Message Broker kontinuierlich zu publizieren. Dies folgt dem Prinzip „publish once, distribute everywhere“, wodurch Daten einmal veröffentlicht und dann von beliebig vielen Systemen und Anwendungen abonniert werden können. Weitere Informationen zum UNS finden Sie in unserem Blog.

MQTT oder Kafka: Was passt im Industrial IoT?

Sowohl MQTT als auch Kafka sind in der Welt der Datenübertragung und -verarbeitung weit verbreitet und haben sich in diversen Anwendungsfällen als Broker-basierte Publish / Subscribe Architektur bewährt. Beide Technologien ermöglichen es, Daten zwischen verschiedenen Systemen oder Komponenten zu übertragen. Allerdings bieten die Technologien unterschiedliche Schwerpunkte und Funktionen.

Was sind die Gemeinsamkeiten von MQTT und Kafka?

1. Datentransfer: Beide ermöglichen das Senden von Daten zwischen Produzenten und Konsumenten auf Basis eines Message Brokers.
2. Middleware: Sowohl Kafka als auch MQTT fungieren als Middleware, um Daten zwischen Sendern und Empfängern zu transportieren.
3. Verteilte Systeme: Beide Technologien unterstützen verteilte Systeme und können in Umgebungen mit mehreren Servern und Clients implementiert werden.
4. Zuverlässigkeit: Sowohl Kafka als auch MQTT bieten Mechanismen zur Gewährleistung der Datenübertragung, wenngleich die Implementierung und die Garantien unterschiedlich sind.

Was sind die Unterschiede von MQTT und Kafka?

1. Durchsatz und Latenz:
   • MQTT: Bietet eine niedrigere Latenz und ist ideal für Anwendungsfälle, in denen schnelle Lieferung von Nachrichten kritisch ist.
   • Kafka: Kann extrem hohe Durchsätze an Nachrichten verarbeiten und ist gut für Anwendungen geeignet, bei denen es um die Verarbeitung großer Datenströme geht.
2. Datenspeicherung:
   • MQTT: Ist in erster Linie darauf ausgerichtet, Nachrichten mit geringer Latenz zu übertragen und bietet keine eingebauten Funktionen zur Langzeitspeicherung von Daten.
   • Kafka: Bietet robuste Funktionen zur Datenspeicherung und kann Nachrichten für längere Zeit (konfigurierbar) aufbewahren, um sie erneut zu verarbeiten oder im Falle eines Fehlers zu referenzieren.
3. Fehlertoleranz und Wiederherstellung:
   • MQTT: Hat Mechanismen für die Bestätigung von Nachrichten, aber keine native Unterstützung für Replay oder Langzeitspeicherung von Daten zur späteren Wiederherstellung.
   • Kafka: Bietet starke Fähigkeiten zur Wiederherstellung von Daten nach einem Ausfall dank seiner persistenten Speicherarchitektur und der Möglichkeit, Datenströme zu „replayen“.
4. Implementierungs- und Wartungsaufwand
   • MQTT: Die Implementierung auf Basis von Client Bibliotheken, die Konfiguration eines MQTT-Brokers sowie Management und Überwachung von MQTT-Brokern sind tendenziell relativ einfach.
   • Kafka: Die Einführung von Kafka ist deutlich komplizierter (z.B. in Bezug auf das Setup und die Konfiguration der Cluster, Planung von Hardware- oder Cloud-Infrastruktur). Auch die Verwaltung der Datenspeicherung sowie robustes Cluster-Management und Überwachung sind deutlich anspruchsvoller.
5. Anwendung:
   • MQTT: Ist ein leichtes Publish/Subscribe-Protokoll, das besonders für Umgebungen mit eingeschränkten Ressourcen entwickelt wurde und sich ideal für die Kommunikation mit Industrial IoT-Geräten eignet.
   • Kafka: Ist eine verteilte Streaming-Plattform, die besonders zum Streamen und Verarbeiten von großen Mengen von Event-Daten in Echtzeit konzipiert ist. Kafka ist hervorragend für Big-Data-Verarbeitung, Datenanalysen, Aggregationen und für Anwendungen, bei denen es um die Verarbeitung von Datenströmen in großem Maßstab geht.

Fazit

Die Frage ob „MQTT oder Kafka“ lässt sich anhand der Anforderungen im Anwendungsfall beantworten. Um Kafka gewinnbringend einzusetzen, sollten die Skalierungsvorteile den Mehraufwand in Implementierung und Wartung über-kompensieren. In der Praxis werden MQTT und Kafka oft komplementär eingesetzt – zum Beispiel MQTT auf der Edge-Ebene für die Kommunikation mit Industrial IoT-Geräten und Kafka für die Verarbeitung der Datenströme in der Cloud. Beide haben spezifische Stärken und können gemeinsam genutzt werden, um robuste, skalierbare und effiziente Industrial IoT Architekturen zu schaffen.

i-flow Industrial Unified Namespace (UNS) und Kafka – die perfekte Kombination

Über i-flow: Bei i-flow fokussieren wir uns auf die Bereitstellung der weltweit intuitivsten Software für die nahtlose Vernetzung von Fabriksystemen. Täglich über 400 Millionen Datenoperationen in produktionskritischer Umgebung demonstrieren nicht nur die Skalierbarkeit der Software, sondern auch das tiefe Vertrauen, das unsere Kunden in i-flow setzen. Dabei ist uns die enge Zusammenarbeit mit unseren Kunden und Partnern weltweit, einschließlich namhafter Fortune 500-Unternehmen sowie Branchenführer wie Bosch, Sto und Lenze, ein zentrales Anliegen.

Über die Software: i-flow bietet die zentralen Werkzeuge für die Implementierung und den Betrieb einer skalierbaren Industrial Unified Namespace Architektur.

1. Connectivity Layer: Mit über 200 Konnektoren, integrieren Sie mit nur wenigen Klicks gängige OT und IT Systeme in Ihren UNS.
2. Harmonization Layer: Die i-flow Software harmonisiert Quelldaten, bevor diese in einem zentralen Message Broker zur Verfügung gestellt werden.
3. Message-Broker: i-flow liefert einen vollständig integrierten MQTT-Broker, unterstützt aber auch bereits existierende Broker (z.B. MQTT, Kafka).
4. Microservices: Kombinieren, aggregieren und transformieren Sie OT- und IT-Daten über i-flow Microservices, beispielsweise um KPIs zu berechnen oder komplexe Integrationen zu realisieren.