0511 874 590 50 info@agile-im.de
Sie finden den Artikel interessant? Teilen Sie ihn mit Ihrem Netzwerk!
Die wichtigste Voraussetzung bei der Entwicklung von industriellen Anwendungen der künstlichen Intelligenz (KI) sind ausreichend verfügbare Daten. Auch im industriellen Umfeld sind Daten nicht immer in der benötigten Menge, Qualität oder Struktur vorhanden. Deshalb war das Ziel für AIM Agile IT Management GmbH einen Data Lake zur Sammlung von historischen und Rohdaten im Vorfeld der Entwicklung von industriellen KI-Anwendungen anzulegen und in Betrieb zu nehmen.

Ausgangslage

Für unseren Kunden MediFox sollte mit Hilfe von industrieller KI eine Anwendung erstellt werden, die die Kündigungswahrscheinlichkeit ihrer Kunden vorhersagt. Mit Hilfe einer solchen Vorhersage (Churn Prediction) sollte auf ein eventuelles Kündigungsrisiko reagiert werden können. Die Churn Prediction sollte aufgrund der vorhandenen Daten des Kundeninformationssystems (KIS), des Customer-Relationship-Management-Systems (CRM) und des Servicedesks des Kunden realisiert werden.

Lösung

Ein Data Lake hat die Aufgabe Daten aus einer Datenquelle unstrukturiert und ohne eine Transformation zu speichern. So wird jede Änderung an Datensätzen roh abgelegt. Im späteren Verlauf hat man so eine Datenbasis, die man zu einem Problem heranziehen kann. Im Fall einer Churn Prediction Anwendung kann man durch eine nachträgliche Transformation auf die notwendigen Daten zugreifen, z.B.:

  • Wann hat sich ein Ansprechpartner beim Endkunden geändert?
  • Wann hat der Endkunde neue Lizenzen erworben bzw. wann wurde eine Lizenz verändert oder abbestellt?
  • Wie ist die Zahlungsmoral des Kunden über die Zeit hinweg?
  • Hierzu werden die Rohdaten aus drei verschiedenen Systemen benötigt:
    • Endkundeninformationen aus dem Kundeninformationssystem (KIS)
    • Rohdaten zu Service Requests und Incidents aus dem Jira Servicedesk
    • Lizenzinformationen aus einer Lizenzdatenbank

AIM Data Lake

Zunächst werden die Rohdaten aus den Systemen extrahiert. Hierzu muss für jedes System eine geeignete Schnittstelle identifiziert werden. Generell können Daten aus Systemen per Push- oder Pull-Mechanismus extrahiert werden und werden dann mithilfe eines Services in einen Kafka Topic geschrieben. Nun können die Daten asynchron verarbeitet werden, somit wird auch das eventuelle Risiko eines Rückstaus bei der Extraktion minimiert. Gleichzeitig stellt Kafka sicher, dass ein transaktionaler Kontext die Konsistenz aller zu speichernden Daten sicherstellt. Die zu speichernden Daten können ebenso binäre Formate enthalten, da die Transformation in weiterführende Daten bei der Ablage noch keine Rolle spielt. Da wir in einer privaten Cloud beginnen und später in eine AWS oder Microsoft Azure basierte Umgebung zur Speicherung der Daten im Data Lake wechseln können müssen, nutzen wir MinIO als Abstraktion des Dateisystems. MinIO stellt aus Sicht der Applikation immer einen S3-Bucket zur Verfügung. Auf diese Weise sind auch hybride Umgebungen oder Umzüge der Datenbasis kein Problem für den Data Lake.

Haben Sie weitere Fragen oder Anregungen? 

Nehmen Sie Kontakt auf:

Ihr Name (Pflichtfeld)

Ihre E-Mail-Adresse (Pflichtfeld)

Ihre Nachricht

Hinweis: Die eingegebenen Daten werden an uns zum Zweck der Kontaktaufnahme übermittelt, weiteres finden Sie in unserer Datenschutzerklärung.