Parsing mit Python. Web-Scraping in Aktion

Parsing mit Python. Web-Scraping in Aktion Wenn Programmierung Magie ist, dann ist Web-Scraping wahre Zauberei. Mit einem einfachen automatisierten Programm kann man Anfragen an Webserver senden, Antworten mit Daten erhalten und diese Daten dann analysieren und die benötigten Informationen extrahieren. Diese aktualisierte dritte Auflage des Buches wird Ihnen nicht nur das Web-Scraping näherbringen, sondern auch als umfassendes Handbuch zum Sammeln nahezu aller Arten von Daten im modernen Internet dienen. In Teil I liegt der Schwerpunkt auf der Mechanik des Web-Scrapings: wie man mit Python Anfragen an Webserver sendet, Antworten verarbeitet und die Interaktion mit Websites automatisiert. In Teil II werden konkretere Werkzeuge und Anwendungen untersucht, die bei jedem Szenario des Web-Scrapings nützlich sind. 

Das Buch zeigt, wie: 

• komplexe HTML-Seiten analysiert werden; 

• Web-Scanner mit dem Framework Scrapy entwickelt werden; 

• Daten, die durch Scraping gewonnen wurden, gespeichert werden; 

• Daten aus Dokumenten gelesen und extrahiert werden; 

• schlecht formatierte Daten bereinigt und normalisiert werden; 

• Informationen in natürlichen Sprachen gelesen und geschrieben werden; 

• Suchanfragen durch Formulare und Login-Seiten durchgeführt werden; 

• JavaScript-Code gescraped und mit APIs gearbeitet wird; 

• Programme zum Konvertieren von Bildern in Text geschrieben und verwendet werden; 

• Anti-Scraping-Fallen und Bot-Blocker umgangen werden; 

• eigene Websites mit Hilfe von Scraping getestet werden.