Datenpilot - Daten einfach nutzen

Der Datenpilot ist ein Firefox Addon, mit dem man automatisch Daten aus HTML Webseiten herauslesen kann. Ebenso kann man ganze Dokumente, wie z.B. PDF, oder auch Bilder und sonstige Inhalte von beliebigen Seiten aus dem Internet herunterladen. Diese Technik wird "screen scraping", "web scraping" oder "data extraction" genannt. Normalerweise muss dazu ein Skript programmiert werden. Der Datenpilot braucht dazu vorgefertigte Apps statt Skripts und macht es so möglich Daten zu extrahieren, ohne Programmierkenntnisse zu haben. Der Datenpilot erledigt in Minuten, was vorher eine mühsame, langweilige und fehleranfällige Handarbeit von Stunden war.

Using data – simple and easy.

Datenpilot is a Firefox Addon that allows to automatically gather data from HTML pages. You can also download documents, such as PDF's, images, or other content of any page from the Internet. This technique is called "screen scraping", "web scraping," or "data extraction". Normally this involves programming scripts. Datenpilot uses preconfigured Apps instead of scripts and makes it possible to scrape data without programming knowledge.

	Name	CSV / Excel	PDF	Geo
	AbeBooks Bestellungen
	Amazon (.com/.co.uk/.de/.fr) Bestellhistorie
	Antaios Bestellungen
	AntBo Bestellungen
	Antiquariat.de Bestellungen
	BookDepository Order history
	Booklooker Kaufhistorie
	eBay Kaufhistorie
	epubli Bestellungen
	Flashscore.com Foodball Betting
	Flashscore.de Fußball Wetten
	Kopp Verlag Bestellhistorie
	Lehmanns Bestellungen
	LinkedIn Kontakte
	MeinPaket.de Bestellungen
	PayPal Transactions
	Swisscom Rechnungen
	Telekom Rechnungen
	Viseca Rechnungen
	Xing Kontakte
	ZVAB Bestellhistorie

Beispiel Daten

Sample Data

Was kann der Datenpilot? Habt Ihr Beispiele?

Was der Datenpilot alles kann, ist gar nicht so schnell zu beantworten, weil die Einsatzmöglichkeiten nahezu unbegrenzt sind. Ein paar Beispiele können aber sicher einen Eindruck vermitteln. Alle nachfolgenden Beispiele haben eines gemeinsam: Sie sammeln automatisiert Daten aus Webanwendungen und speichern diese auf dem lokalen Computer ab. Diese Daten können weiter verarbeitet werden, wie z.B. als Excel Auswertungen, oder sie können auch wieder in andere Produkte (z.B. Datenbanken, eigene Auswertungssysteme) eingespielt werden.

Beobachten eines Lagerbestandes

Immer mehr Online-Shops bieten einen Lagerbestand an. Wird dieser Datenbestand z.B. täglich mit dem Datenpilot gelesen, können Aussagen über den Verkauf eines bestimmten Produkts gemacht werden. Diese Trends können mit anderen Daten verknüpft werden und so können Wettbewerbsvorteile erzielt werden.

Download der monatlichen Rechnungen

Anbieter von Dienstleistungen, wie Telefonanbieter, Energiekonzerne, Kreditkartenunternehmen, etc. stellen ihre Rechnungen oft nur noch elektronisch auf ihrer Webseite bereit, oder verlangen einen Aufpreis für das Erstellen der Rechnung in Papierform. Diese E-Rechnungen werden meist vom Anbieter nicht solange dort angeboten, wie man das zwecks eigener Ansprüche haben möchte oder wie es bspw. auch bei steuerlich relevanten Rechnungen erforderlich ist.

Hier ist eine eigene Archivierung notwendig, d.h. Einloggen in den Kundenbereich des Anbieters, navigieren zur Seite, wo die Rechnungen angeboten sind und Herunterladen der noch nicht lokal gespeicherten Dateien. Genau diese Aufgabe übernimmt nun der Datenpilot, indem er die zuvor genannten Schritte automatisch im Browser durchläuft.

Übersicht der Bestellungen in Online-Shops

Welche Bücher habe ich schon im Internet gekauft? Diese Frage ist manchmal gar nicht so einfach zu beantworten. Eigentlich sind ja meine Bestelldaten in den meisten Online Shops noch verfügbar, aber ich kann sie leider nicht so einfach für meine Zwecke nutzen. Hier kommt nun der Datenpilot ins Spiel: Die Bestellhistorien der verschiedenen Shops können jetzt einmal komplett ausgelesen und anschließend immer wieder aktualisieren werden. Über einen Datenexports kann nun eine Liste aller Bestellungen mit den jeweils gekauften Büchern erstellen werden. Diese ist z.B. mit Excel oder einem Texteditor schnell nach einem Buchtitel, einer ISBN oder einem Autor durchsucht. Dadurch das die Daten einem gängigen Format (Micro Data) folgen, können die Bücher unabhängig von ihrer Bestellplattform verwaltet werden.

Sportwetten

Plattformen für Sportwetten bieten eine nicht mehr zu überschauende Fülle an Informationen zu Teams, Spielen, Ergebnistabellen, Ranglisten, etc. an. Für eine fundierte Wette müssen viele dieser Informationen berücksichtigt und in die Entscheidung einbezogen werden. Ein Teil dieser Auswertungen im Vorfeld läuft nach gewissen Mustern ab, die sich gut automatisieren lassen. In diesem Fall hilft der Datenpilot, die Informationsfülle durch Filter und Regeln auf die interessanten Spiele zu beschränken, sodass die Auswahl der in Frage kommenden Spiele jetzt ohne größeren Zeitaufwand erfolgt.

Das sagt ein Kunde von uns:

Mein Interesse an Fussballwetten erstreckt sich über eine Vielzahl von Meisterschaften hauptsächlich im europäischen Raum. Eine meiner Wettstrategien betrifft Begegnungen zwischen klaren Favoriten und Aussenseitern. Auf den ersten Blick eine simple Strategie, welche aber bei steigender Anzahl Spielen (bis zu 140 an einem Tag) mit erheblichem Aufwand verbunden ist, da jede Begegnung analysiert und nach verschiedenen Kriterien bewertet wird. Bei der manuellen Analyse können sich leicht Fehler einschleichen oder relevante Informationen übersehen werden.

Durch die Definition von Regeln und Berechnungsformeln konnte die Analyse und Bewertung der Spiele mit dem Datenpilot automatisiert werden. Jetzt brauche ich lediglich den Datenpilot zu starten, den gewünschten Spieltag auszuwählen und die Analyse läuft automatisch durch. Wo ich vorher für die manuelle Analyse bis zu 2 Stunden je Spieltag investiert habe, liefert mir der Datenpilot die Auswertung nach wenigen Minuten – eine bemerkenswerte Zeitersparnis, danke Datenpilot!

Die Einfachheit in der Anwendung des Datenpilots regt mich dazu an weitere Regeln und Variationen der Wettanalyse zu definieren, welche mit dem Datenpilot umgesetzt werden kännen. Ich freue mich darauf!

Umzug eines Online-Antiquariats mit ca. 9500 Büchern zu einem anderen Anbieter

Ein Hinweis vorab: Da dieser Fall sehr komplex, zeitaufwändig und auch individuell ist, enthält der Datenpilot keine App, um dies automatisiert ablaufen zu lassen.

Online-Shops machen einem das Erfassen des eigenen Angebots meistens sehr einfach und bieten daher in der Regel auch einen Massenimport an. Hingegen findet man zwei grundsätzlich sehr verschiedene Haltungen bzgl. der Möglichkeit, diese Daten auch wieder auszulesen. Idealerweise steht dafür auch einen Massenexport zur Verfügung, aber leider bieten bei weitem nicht alle Shops eine solche Funktion an. Im hier beschriebenen Fall eines Online-Antiquariats hatten wir gerade eine solche „Kundenbindung“ an den genutzten Online-Shop. Die verfügbaren Listenexporte waren entweder unvollständig oder enthielten verstümmelte Daten. Alle Daten waren zwar im Online-System zugänglich, aber jedes Buch auf einer separaten HTML Seite. Mit dem Datenpilot konnte der gesamte Datenbestand mit etwa 9500 Büchern nun automatisch über die Detailseiten zu jedem Buch ausgelesen werden, sodass anschließend eine vollständige Liste der dort angebotenen Bücher vorlag. Diese wurde nun an das Importformat der Ziel-Plattform angepasst und dort per Massenimport eingespielt.

Laut Aussage des Versandbuchhändlers wäre eine manuelle Migration der Daten in dieser Größenordnung nicht innerhalb einer vernünftigen Zeit zu bewältigen und damit der durchgeführte Datenumzug von vornherein unmöglich gewesen.

What can Datenpilot do for me? Do you have examples?

Because the possibilities are almost endless this question is not easy to be answered,, but a few examples can give you an impression. They have one thing in common: All of them automatically collect data from web applications and save it to your local computer. The data can be further processed, such as in Excel, or it can also be integrated into other applications (e.g. databases, IT systems).

Order history from online shops

What books have I already bought on the Internet? This question is sometimes not so easy to answer. Actually your order details are available in most online stores, but you cannot manage them easily in terms of updating and searching. Here Datenpilot comes into play: The order histories of the various shops can be saved in the local data store. When you buy new books, Datenpilot can be run again and updates the store with the new books. A full list of your orders can be exported for further use, e.g. searching for a book by title, ISBN or author.. The data structures follow a common format called Micro Data. This enables you to combine books from different online shops. These books can now be managed independently of their order platform.

Betting

Platforms for sports betting offer a huge amount of information about teams, games, tables of results, rankings, etc. For a successful bet much of this information must be considered and incorporated into the decision, which bet to execute. A lot of these evaluations and selections of data can be done automatically. In this case, Datenpilot helps to limit the amount of information, so the selection of eligible games can now be done in a fraction of the time spend before.

Observing a stock

More and more online stores offer a possibility to view the stock of items. If this data is read daily, conclusions about the sale of a particular product can be made. These trends can be linked with other data and competitive advantages can be achieved.

Wer sind wir?

Als passionierte Programmierer und Software-Architekten sind wir seit vielen Jahren in der Softwareentwicklung von mehrheitlich großen Unternehmen tätig. Dabei haben wir in ambitionierten und innovativen Projekten mitgearbeitet und unseren Arbeitgebern und Kunden geholfen, ihre oft sehr anspruchsvollen Ziele zu erreichen.

In unserem persönlichen Umfeld mussten wir jedoch oft auf einfachste Software-Unterstützung verzichten und waren immer wieder gezwungen, wiederkehrende, zeitaufwändige und/oder fehleranfällige Aufgaben manuell abzuarbeiten. So entstand für einen dieser Bereiche die Idee, den Datenpilot zu entwickeln: Bis dahin manuelle Tätigkeiten, wie z.B. die monatliche Archivierung von PDF-Rechnungen, können nun mit dem Datenpilot automatisiert werden.

So bekommt man nicht nur Zugriff auf interessante Daten, sondern auch wertvolle Zeit zurück. Diesen Gewinn möchten wir auch anderen durch den Einsatz des Datenpilot ermöglichen. Für weitergehende Ideen und Anforderungen haben wir ein offenes Ohr und verbessern gerne unser Produkt.

Who are we?

As passionate programmers and software architects, we have been working many years in software development for large companies. Having been involved in exciting and innovative projects we helped our employers and customers to achieve their often very ambitious goals.

In our personal life, we sometimes felt a lack of software, which offers support for repetitive, time-consuming and / or error-prone tasks. One day the idea of developing Datenpilot was born: Activities such as the monthly download of PDF invoices, or keeping track of online orders can now be automated with Datenpilot.

With Datenpilot you not only get access to interesting data, but you also get valuable time back. We want to share this with others through the use of Datenpilot. We are open for more ideas and requirements and like to improve our product.