![\"\"](\"https:\/\/u-labs.de\/portal\/wp-content\/uploads\/2022\/03\/vlcsnap-2022-03-13-13h34m05s832.png\")
<\/a><\/figure>\nWenn es keine Programmierschnittstelle (API) gibt, um die gew\u00fcnschten Daten zu erhalten, ist Scraping oft die einzige M\u00f6glichkeit. Bei \u00f6ffentlichen Daten ist es rechtlich legal, sofern das Urheberrecht beachtet wird. In anderen F\u00e4llen variiert die Legalit\u00e4t je nach Umst\u00e4nden.<\/p>\n
Der Raspberry Pi eignet sich perfekt f\u00fcr Scraping, da er durch seinen geringen Stromverbrauch problemlos l\u00e4ngere Zeit 24\/7 laufen und regelm\u00e4\u00dfig Daten einsammeln kann. Grunds\u00e4tzlich funktioniert es aber auch auf jedem X86 Server.<\/p>\n
Was ist Selenium?<\/h2>\n
Selenium ist ein quelloffenes Framework, um Webseiten und Webanwendungen automatisiert zu testen. Dazu wird ein Browser ferngesteuert. Das kostet zwar etwas Ressourcen, hat aber einen gro\u00dfen Vorteil: CSS und vor allem JavaScript wird ausgef\u00fchrt. N\u00fctzlich f\u00fcr Seiten, auf denen Inhalte dynamisch nachgeladen werden, etwa per Ajax oder WebSockets. F\u00fcr Softwaretests ist das essenziell, bei Crawlern n\u00fctzlich.<\/p>\n
Das Beispiel-Szenario<\/h2>\n
Es gibt auf eBesucher<\/a> eine Preisseite. Sie zeigt, wie viele Besuchertauschpunkte (BTP) ein Werbetreibender bezahlen muss, wenn er seine Seite f\u00fcr 15 Sekunden in der Surfbar angezeigt haben m\u00f6chte.<\/p>\n In diesem Beispiel soll also ausgelesen werden, dass eine Einblendung in Deutschland derzeit 1,45 BTP kostet. Dieser Preis kann sich \u00e4ndern, in welchen Abst\u00e4nden ist nicht bekannt. Unter anderem das k\u00f6nnen wir mit unserem Scraping versuchen herauszufinden.<\/p>\n Vornweg<\/strong>: Diese Seite ist recht simpel aufgebaut und lie\u00df sich relativ einfach mit h\u00e4ndischen HTTP-Anfragen auslesen – das ist in der Ausf\u00fchrung effizienter, aber weniger vielseitig bzw. bei komplexeren Internetseiten deutlich aufw\u00e4ndiger\/fehleranf\u00e4lliger zu implementieren als Selenium. Gerade weil diese Seite nicht \u00fcberm\u00e4\u00dfig komplex ist, eignet sie sich gut zur ersten Demonstration. So kann ein Einsteiger die Funktion verstehen, statt gleich zu Beginn mit der Komplexit\u00e4t von Sonderf\u00e4llen erschlagen zu werden.<\/p>\n Wir nutzen die verbreitete Skriptsprache Python in Version 3.7 oder h\u00f6her. Selenium wurde aber mittlerweile in nahezu alle g\u00e4ngigen Sprachen portiert, dort kann es mit einigen Anpassungen ebenfalls verwendet werden. Python3 sollte unter dem Raspberry Pi OS bereits installiert sein:<\/p>\n Der Python-Paketmanger Pip<\/strong> ist standardm\u00e4\u00dfig nicht vorhanden, daher installieren wir ihn zun\u00e4chst:<\/p>\n Da wir Pip-Abh\u00e4ngigkeiten ben\u00f6tigen, empfehle ich eine virtuelle Python-Umgebung. Anschlie\u00dfend mit pip das Selenium-Paket installieren, dies integriert Selenium in Python.<\/p>\n Nun ben\u00f6tigen wir einen WebDriver. Dies ist die Selenium-Implementierung f\u00fcr einen einzelnen Browser, der ferngesteuert wird. F\u00fcr Tests gibt es auch andere Varianten, etwa Grid zur parallen ausf\u00fchrung mehrere Tests. Es gibt verschiedene WebDriver-Implementierungen, da man Webseiten ja in der Regel nicht nur in einem Browser testet. <\/p>\n Normal nutze ich hierf\u00fcr den quelloffenen, freien Browser Firefox. Leider gibt es f\u00fcr den notwendigen Geckodriver f\u00fcr die ARM-Architektur des Raspberry Pi weder in der Paketverwaltung, noch zum Download. Daher weichen wir auf Chromium auf. <\/p>\n Hinweis<\/strong>: Die Pakete sind recht gro\u00df und installiert den Chromium-Webbrowser als Abh\u00e4ngigkeit, sofern noch nicht vorhanden. Insgesamt werden ca. 137 MB heruntergeladen und 520 MB auf euere Speicherkarte entpackt.<\/p>\n Beginnen wir mit einem einfachen Beispiel: Erzeugen eines Chrome WebDriver-Objektes, dass wir Headless aufrufen. Dadurch seht ihr das Browserfenster nicht. Zur Fehlersuche kann es n\u00fctzlich sein, dies auszukommentieren, sodass wir sehen, was Selenium tut. Funktioniert aber nur, wenn ihr entweder eine grafische Oberfl\u00e4che nutzt, oder aber mittels X-Forwarding die Fenster lokal \u00f6ffnet.<\/p>\n Unser Chromium-Browser soll die Startseite Qwant \u00f6ffnen und uns dem Titel ausgeben. Den seht ihr beim Surfen normal in der Titelleiste des Browsers bzw. teile davon in der Registerkarte.<\/p>\n Legt f\u00fcr folgenden Code ein Python-Skript an, ich nenn es crawler.py<\/strong> und \u00f6ffnet dies mit einem Texteditor.<\/p>\n Anschlie\u00dfend das Skript ausf\u00fchren. Es sollte der entsprechende Titel ausgegeben werden:<\/p>\n Hier auf Englisch, weil das die Standard-Sprache von Chromium ist. Dies lesen manche Internetseiten aus und passen ihre Sprache entsprechend an. In Selenium k\u00f6nnte man die Sprache auf Deutsch \u00e4ndern, das ist hier aber nicht relevant.<\/p>\n Nun geht es mit eBesucher weiter. Zun\u00e4chst \u00e4ndern wir die Adresse, die Selenium aufrufen soll:<\/p>\n Wird das Skript erneut mit dem Python-Befehl wie zuvor gezeigt gestartet, sollten wir den Seitentitel von eBesucher sehen k\u00f6nnen:<\/p>\n Nun hilft der Seitentitel f\u00fcrs Auslesen von Daten nicht weiter, das war nur als Test zum aufw\u00e4rmen gedacht. Um Daten auszulesen, m\u00fcssen wir uns zun\u00e4chst mit der HTML-Struktur der Seite besch\u00e4ftigen. Am besten f\u00e4ngt man mit dem Element an, dass man auslesen m\u00f6chte: Im Firefox dort einen Rechtsklick auf das gew\u00fcnschte Element (hier der BTP Kurs, aktuell „1,45“) und dann auf Untersuchen<\/strong> im Kontextmen\u00fc.<\/p>\n Die blaue Zeile ist das Element, auf das wir den Rechtsklick durchgef\u00fchrt haben. Mit dem Pfeil links kann man das Element aufklappen. Es ist also ein <td><\/strong> Element (Feld einer Tabelle), in dem der Wert steht. <\/p>\n Interessant ist vor allem der linke Bereich mit der HTML-Struktur. Die m\u00fcssen wir analysieren und einen Selektor finden, um das gew\u00fcnschte Element zu finden. Hilfreich sind dabei vor allem Ids, damit l\u00e4sst sich ein Element am einfachsten identifizieren. Alternativ gibt es Klassen, manchmal muss man auch auf die Verschachtelung der Elemente gehen.<\/p>\n In diesem Falle funktioniert leider alles nicht: Das <td><\/strong> Element hat nur eine Klasse „nobr“ – und die wird in jedem anderen <td> Element auch gesetzt, ist daher zur Filterung nutzlos. Schauen wir daher mal etwas \u00fcber den Tellerrand, wie sieht es mit dem linken Tabellenfeld („Deutschland“) aus? Wesentlich besser, die Flagge des <span><\/strong> Elements enth\u00e4lt eine Klasse flag-icon-de<\/strong>. Das L\u00e4nderk\u00fcrzel scheint eindeutig:<\/p>\n Allerdings zeigt eine Suche: Es wird an zwei anderen Stellen ebenfalls noch verwendet. Eine unsichtbare, gleich aufgebaute Tabelle und die Auswahlbox links unten, \u00fcber die man die Sprache der gesamten Seite \u00e4ndern kann.<\/p>\n Bei n\u00e4herer Betrachtung der Struktur f\u00e4llt auf, dass unsere Preistabelle aus der wir die Daten haben m\u00f6chten, eine Id preisstaffelung<\/strong> besitzt:<\/p>\n<\/a>Was brauche ich?<\/h2>\n
\n$ python3 --version\nPython 3.9.2\n<\/pre>\n<\/div>\n
\nsudo apt install python3-pip\n<\/pre>\n<\/div>\n
\n$ virtualenv ebesucher-scraper\n$ cd ebesucher-scraper\n$ source bin\/activate\n\n$ pip3 install selenium\n<\/pre>\n<\/div>\n
\nsudo apt install chromium-driver\n<\/pre>\n<\/div>\n
Grundger\u00fcst und ein erster Test<\/h2>\n
<\/a><\/figure>\n\nfrom selenium import webdriver\nfrom selenium.webdriver.common.by import By\n\n# Verhindert, dass das Browserfenster geoffnet wird (per SSH ohne GUI\/X-Forwarding zwingend notwendig)\nchromeOptions = webdriver.ChromeOptions()\nchromeOptions.add_argument("headless")\n\ndriver = webdriver.Chrome(options=chromeOptions)\ndriver.get('https:\/\/qwant.com')\nprint(driver.title)\ndriver.quit()\n<\/pre>\n<\/div>\n\n$ python3 scrape.py\nQwant - The search engine that respects your privacy\n<\/pre>\n<\/div>\n
Auslesen des Deutschen BTP-Preises mit Selenium<\/h2>\n
\n# Statt vorher: driver.get('https:\/\/qwant.com')\ndriver.get('https:\/\/www.ebesucher.de\/werbung\/preise')\n<\/pre>\n<\/div>\n\n$ python scrape.py\nPreise f\u00fcr Webseitenbesucher | Preisrechner | eBesucher.de\n<\/pre>\n<\/div>\n
<\/a><\/figure>\n<\/a><\/figure>\n<\/a><\/figure>\n<\/a><\/figure>\n