Data Pipelines

USE CASES FÜR DATA PIPELINES

In vielen Unternehmen gibt es keine klaren Vorstellungen davon, welche Anwendungsfälle im Bereich Data Pipelines überhaupt auftreten können und automatisierbar sind. In der folgenden Zusammenstellung sind einige Automation Use Cases für Data Pipelines aufgeführt, die in nahezu allen Unternehmen vorkommen  können. 

Bereitstellung von Daten

Die ressourcen-optimale Verarbeitung Ihrer Daten wird es erfordern, immer wenn nötig, die jeweiligen Daten zu den Services oder die Services zu den Daten zu bewegen. Diese Entscheidung sowie deren Ausführung kann durch Workflows transparent und nachvollziehbar automatisiert und optimiert werden.

Sicherer Transport von Daten

Daten sind in zwei Situationen gefährdet: im Ruhezustand und beim Transport. Im Ruhezustand werden sie über Zugriffsrechte geschützt. Beim Transport hilft eine Verschlüsselung der Daten, diese zu schützen. Eine Optimierung des Transport-Weges schafft eine Verkürzung der Gefahren-Zeit.

Verarbeitungsschritte ausführen

Daten werden in mehreren Schritten bearbeitet. Hierzu ist es notwendig, Services so zu starten, dass Deadlines über die gesamte Verarbeitungskette hinweg eingehalten werden.

Verarbeitungsschritte zu Pipelines zusammenführen

Verarbeitungsketten arbeiten mit Services verschiedenster Technologien und Spezialisten. Den jeweiligen Spezialisten zusammen mit der entsprechenden Technologie in einen Unter-Workflow zusammenzufassen, ermöglicht es, eine übergreifende Data Pipeline aufzubauen.

Timing optimieren

Bei Informationen ist es besonders wichtig, wann diese zur Verfügung stehen können – nicht, wann die Verarbeitung beginnt. Durch Auswertung der Verarbeitungs-Informationen kann der Start-Termin optimiert werden.

Eskalation bei Störung der Bereitstellung

Data Pipelines agieren auf verschiedenen Systemen mit verschiedenen Services. Wenn trotz bester Vorbereitung Ressourcen nicht rechtzeitig zur Verfügung stehen, um die Deadline zu halten, muss die Pipeline selbstständig um Unterstützung bitten können und nach Bereitstellung selbstständig weiterarbeiten und eine Warnung an den Daten-Empfänger zu schicken.

Haben Sie noch Fragen?

Gerne bieten wir Ihnen mehr Informationen und beraten Sie über die Möglichkeiten.