Qlik Lineage Connector

So behalten Sie den Datenfluss im Blick
  • Qlik Lineage Connector

    Der Qlik Lineage Connector ermöglicht die automatisierte Erfassung & Visualisierung der Datenbeziehungen im Unternehmen. Ob Vergangenheitswerte, Planungsdaten oder Prognosen – die dadurch geschaffene Transparenz hilft, die Datenqualität zu verbessern und das Vertrauen in die Daten zu stärken – als Basis für agile, datengetriebene Geschäftsentscheidungen.

Data Lineage – ein Stammbaum für Ihre Daten 

Jedes moderne Unternehmen produziert Unmengen an Daten, die aus den verschiedenen Quellsystemen zusammengeführt, transformiert und zur Analyse bereitgestellt werden – in Reports, Dashboards & Self-Service-BI-Tools.

Das Konzept der Data Lineage bedeutet, die Beziehungen zwischen den verschiedenen Datenbeständen unter die Lupe zu nehmen und den Datenstrom über Systeme & Tools hinweg, von der Datenquelle bis hin zum Datenprodukt transparent zu machen.

So sehen Sie auf einen Blick:

  • woher Ihre Daten stammen
  • wo sie aufgeteilt bzw. mit anderen Daten zusammengeführt wurden und
  • welche Transformationen dabei durchgeführt wurden.

Je komplexer die Datenarchitektur des Unternehmens, umso schwieriger wird die manuelle Dokumentation der Datenströme – und umso sinnvoller ist der Einsatz moderner Data Lineage-Lösungen zur automatisierten, systemübergreifenden Kartierung der Datenbeziehungen mithilfe von Metadaten.

Vorteile – warum ist Data Lineage wichtig?

Die Etablierung robuster Data Lineage-Prozesse schafft messbare Vorteile für das Unternehmen.

Die wichtigsten Aspekte aus Sicht der Analysten sowie der Entscheider in Unternehmensführung und Fachabteilungen wurden bereits einleitend angesprochen – Data Lineage:

  • stärkt das Vertrauen in die Daten – transparente Datenströme schaffen die Grundlage für „erklärbare BI“, einen der Top 10 BI- und Datentrends dieses Jahres.
  • verbessert die Datenqualität – damit die Datenanalyse & Geschäftsperformance

Dazu kommen die Vorteile aus Sicht der Data Engineers bzw. IT-Verantwortlichen – eine robuste Data Lineage:

  • senkt Entwicklungs- & Maintenance-Kosten
  • erleichtert die Einbindung neuer Datensets in einer agilen Dateninfrastruktur
  • erleichtert das Troubleshooting bei Problemen mit der Datenqualität & verringert die Datenausfallzeiten
  • vereinfacht die Impact Analysis bei der Aktualisierung von Datenprodukten
  • unterstützt Migrations- & Datenbereinigungsprojekte
  • verbessert die Governance durch Propagierung von Metadaten
  • verbessert Datenschutz & Compliance durch PII Mapping

>>Heyde Insights: "Data Lineage – warum transparente Datenströme wichtig sind"

Data Lineage Tools – das kann der Qlik Lineage Connector

Der Qlik Lineage Connector ist ein Nachfolgeprodukt von Nodegraph. Er ermöglicht die automatisierte Erfassung & Darstellung der Datenströme im Unternehmen – und zwar nicht nur für Qlik Sense Entreprise, sondern auch für On-Premise-Installationen.

Die interaktive Visualisierung ermöglicht eine intuitive Analyse der Datenbeziehungen – von der Übersichtsdarstellung bis hin zu den beteiligten Applikationen, Tabellen, Excel-Files etc.

>> Download Qlik Lineage Connectors Datasheet (E)

Laden Sie hier das Ebook "Data Governance in the Modern Data Analytics Pipeline" herunter.

  • Was ist Data Lineage?

    Der Begriff der Data Lineage – gelegentlich auch als Data Provenance oder Data Pedigree bezeichnet, im Deutschen meist als Datenherkunft übersetzt – ist aktuell in aller Munde. Doch was ist Data Lineage eigentlich genau, warum ist sie so wichtig und wie behält man sie am besten im Blick?

    Diese Fragen möchten wir in diesem Text besprechen, um anschliessend den Qlik Lineage Connector als Tool für die Analyse & Visualisierung der Data Lineage vorzustellen.

Tutorial: Qlik Lineage Connector

Der Qlik Lineage Connector ist ein Nachfolgeprodukt von Nodegraph. Er ermöglicht die automatisierte Erfassung & Darstellung der Datenströme im Unternehmen – und zwar nicht nur für Qlik Sense Entreprise, sondern auch für On-Premise-Installationen.

> Download Qlik Lineage Connectors Datasheet (E)

Alle Informationen zur Installation & Konfigurierung des Qlik Lineage Connectors finden sich in der Qlik Help-Website.

Qlik-Logo_RGB


Schauen wir uns an, wie das in der Praxis aussieht!

  • Dazu haben unsere Qlik-Experten bei Heyde den Qlik Lineage Connector On-Premise installiert. Im ersten Schritt erstellen wir ein Projekt

     

    QlikLineageConnector_1_Project

    … und setzen als Target unseren Cloud-Dienst.

    QlikLineageConnector_2_Target
    Klickt man links im Menü auf Connectors, so sieht man, dass nicht nur Qlik-Produkte zur Auswahl stehen. Auch über Power BI, Tableau oder sogar SQL-Datenbanken und Data Warehouses wie Snowflake kann man hier eine Data Lineage aufbauen.

     

    QlikLineageConnector_3_Connectors

    Im nächsten Menüpunkt – QCS Target – definiert man noch bestimmte Regeln.

    QlikLineageConnector_2_Target

    Danach kann man auch schon in den Scheduler gehen und dort die Lineage-Analyse anstossen. Da werden die verschiedenen Applikationen, die wir On-Premise auf diesem Server haben, und die ganzen Datenkombinationen von qvd- und qvw-Dateien analysiert. Dabei werden alle Pfade, auf denen die Daten fliessen, in die Cloud hochgeladen – allerdings nur als Metadaten, es werden keine Dateninhalte hochgeladen.


    Zum aktuellen Zeitpunkt hat der Qlik Lineage Connector vorerst nur die Möglichkeit, die Datenbeziehungen auf Tabellen-Level darzustellen. Eine nächste Version wird sicherlich kommen und da ist dann sicher auch eine Analyse auf Feldebene möglich.

    QlikLineageConnector_6_ScheduleRun
    Nun ist die Analyse erfolgreich durchgelaufen…

    QlikLineageConnector_5_Schedule
    … und wir können jetzt in unsere Qlik Sense-Umgebung gehen. Dort sehen wir alle qvw-Dateien, die wir in diesem Projekt verwenden, und können diese analysieren.

    Das Projekt hier ist relativ klein, aber man erkennt die klassischen Schritte:

     

    • eine Daten-Extraktion aus einem Microsoft Navision-System,
    • dann verschiedene Transformationen, für die Finanz-Applikation und für die Personal-Applikation für das HR,
    • und schlussendlich fliessen diese Daten in End-Applikationen ein.

     

    QlikCloud_1_Stream

    Schauen wir uns als Beispiel die Finanz-Applikation an: Auf welchen Quellen basiert diese Applikation und wohin fliessen die Daten von dort aus? Dazu gehe ich hier über das Actions-Menü am rechten Rand auf die Impact Analysis.

    QlikCloud_2_TR_FI_Impact
    Damit gelangen wir in eine neue Übersicht und sehen dort bereits die gewählte Applikation – die TR_FI.qvw für die Finanzen – mitsamt der zugehörigen Datenbeziehungen.

    Auf der linken Seite – also stromaufwärts schauend - sehen wir, dass wir unter anderem die Tabelle costcenter.qvd im Staging haben.

    QlikCloud_3_Graph_TR_FI_costcenter
    Die heisst genau gleich, wie die resultierende Dimensionstabelle – die costcenter.qvd – die wir auf der rechten Seite sehen. Diese ist dann schlussendlich in unserem Ordnerpfad “Core” abgelegt, d. h. in einer anderen Ordnerstruktur, und wird dann wiederum von der HR-Applikation TR_HR.qvw weiterbenutzt.

    QlikCloud_6_Graph_TR_FI_output_impact_analysis
    Gehen wir noch einmal auf die linke Seite der Übersicht: Hier sieht man auch sehr gut, wie die Daten durch die verschiedenen Applikationen durchfliessen. Ganz links haben wir unsere Navision Datenbank und die EX_NAV.qvw, aus der wir die Tabellen rausladen. Und wir können hier alle Tabellen, die das TR_Finanz benützt, anzeigen.

    QlikCloud_3_Graph_TR_FI_costcenter
    Wenn wir weiter nach unten gehen, sehen wir, dass wir hier auch noch lokale Excel-Files haben, d. h., die Excel sind nicht irgendwo aus der Datenbank, sondern liegen auf unserem Public-Pfad, wo die Endbenutzer diese pflegen und anpassen können.

    Hier sieht man zum Beispiel das Budget, die Kontostruktur und die Struktur für die Kostenstellen.

    QlikCloud_4_Graph_TR_FI_xlsx_public
    Schauen wir auf die rechte Seite, also stromabwärts: Hier sieht man wie schon erwähnt die costcenter-Tabelle, die im Ordnerpfad “Core” liegt und für die HR-Applikation TR_HR.qvw benützt wird.

    QlikCloud_5_Graph_TR_FI_output
    Hier kann ich natürlich den Fokus wechseln – wenn man jetzt bspw. schauen möchte, welche weiteren Tabellen die TR_HR.qvw benötigt. Dort sehen wir aktuell nur einem Pfad, von der costcenter-Tabelle – aber wenn ich diese anklicke, analysiere und die zugehörigen Datenströme anzeigen lasse, dann sehe ich, dass die TR_HR.qvw Tabelle natürlich ihrerseits auch auf weiteren Tabellen aufgebaut ist.

    Hier sehen wir u. a. auch unseren Kandidaten aus der TR_FI.qvw, die in das costcenter reinfliesst.

     

    QlikCloud_9_Graph_TR_HR_costcenter

    So kann ich jetzt auf der ganzen Tabellensicht, Applikationssicht den Datenpfad nachverfolgen. 

    Das ist etwas, was man heute mit den Möglichkeiten von Qlik in SaaS wie auch im On-Premise System nur sehr schlecht machen kann.

    Ich kann natürlich auch eine solche Impact Analysis für die costcenter-Tabelle machen, um zu sehen, wo diese überall einfliesst. Da sehen wir bspw. auch, dass diese nicht nur für die Aufbereitung von der Transformation HR [TR_HR.qvw] genutzt wird, sondern auch für die HR-Applikation selbst. Das heisst, dort wird sie als Dimension benützt, bei dieser Transformation wird Information von dieser costcenter-Tabelle weiter genützt für irgendwelche Transformationen für die ausgehenden Tabellen.

     

    QlikCloud_7_Graph_costcenterQVD_analysis
    Das wär’s eigentlich schon zu dem Qlik Lineage Connector und den Möglichkeiten, die das heutzutage bietet.

    Schön dabei ist, dass man dieses Tool ohne zusätzliche Lizenzkosten in der Cloud nützen kann: Man braucht natürlich eine Professional Lizenz für den Zugang zu Qlik Sense SaaS.

Mehr zu Qlik Lineage Connector erfahren

Sie möchten mehr erfahren zu dem Qlik Lineage Connector und den Möglichkeiten, die das heutzutage bietet? Dann freue ich mich auf Ihre Kontaktaufnahme.

 

marckaiser_kreis256
MARC KAISER
Geschäftsleitung

Kundenmeinungen

Jeden Tag arbeiten wir dafür, unsere Kunden leistungsfähiger zu machen – und das mit Leichtigkeit. Wie uns das gelingt? Lesen Sie selbst:
  • „Die Kombination aus Qlik-Expertise und dem tiefen betriebswirtschaftlichen Verständnis haben Heyde zum idealen Partner für Business-Intelligence-Projekte gemacht.“
    - Ueli Messmer, Head Group Controlling & Treasury, Medela AG
  • „Statt per Blindflug durch den Datennebel zu fliegen, können wir unsere Daten jetzt aus beliebigen Flughöhen und Betrachtungswinkeln analysieren“, so Leuthold abschliessend „Per Klick stehen uns alle relevanten Vertriebs-Kennzahlen auf Vortagsbasis zur Verfügung.“
    - Alfred Leuthold, Leiter Qualität und Prozess-Management, Buchzentrum AG (BZ)
  • „Die Mitarbeiter von Heyde haben mit ihrem pragmatischen Lösungsansatz beim Proof-of-Concept das Vertrauen des Managements in eine unkomplizierte, lösungsorientierte und schnelle Umsetzung gestärkt und so letztlich den Weg für die Implementierung geebnet.“
    - Martin Lorenz, CEO, BRACK.CH
  • „Heyde stellte die richtigen Fragen, um uns und unser Anliegen zu verstehen und schnell in eine massgeschneiderte Lösung umzusetzen.“
    - Patrick Wirz, Leiter Finanzen & Controlling, Mitglied der Geschäftsleitung, Cosanum AG
  • „Die Verbindung aus IT-Know-how, Projektmanagementkompetenz sowie tiefem Verständnis unserer Geschäftsprozesse macht Heyde für uns zu einem perfekten Partner.‘‘
    - Romano Caviezel, CFO, Ticketcorner AG
  • „Zwischen uns und Heyde besteht nicht nur eine Kunden- und Lieferantenbeziehung sondern eine echte Partnerschaft.“ -
    - Gilbert Lang, CEO, Altec Electronic AG
  • “Die Heyde setzt unsere Anforderungen beeindruckend schnell in leistungsstarke Lösungen um und stellt schon im Vorfeld die richtigen Fragen, um uns weiterzubringen.”
    - Daniele Imhof, CIO, Thermoplan AG
  • „Ausserdem treffe ich mich periodisch mit Heyde, so dass ich mein Wissen kontinuierlich erweitern kann. Stosse ich doch einmal an Know-how-Grenzen, hilft mir Heyde schnell und unkompliziert weiter“ -
    - Markus Mathis, Leiter IT ERP, Graphax AG