Pythoni abil parsimine. Veebikraapimine tegevuses

Pythoni abil parsimine. Veebikraapimine tegevuses Kui programmeerimine on võlu, siis veebikraapimine on tõeline mustkunst. Koostades lihtsa automatiseeritud programmi, saab saata päringuid veebiserveritele, saada vastuseid andmetega ning seejärel analüüsida neid andmeid ja ekstraktsioonida vajalikku teavet. See uuendatud kolmas väljaanne raamatust mitte... ainult ei tutvusta teid veebikraapimisega, vaid on ka ammendav juhend peaaegu igasuguste andmete kogumiseks kaasaegses Internetis. I osas keskendutakse veebikraapimise mehhanismile: kuidas saata Pythoni abil päringuid veebiserveritele, töödelda vastuseid ja automatiseerida suhtlus veebisaitidega. II osas uuritakse konkreetsamaid tööriistu ja rakendusi, mis on kasulikud igasuguste veebikraapimise stsenaariumide puhul. Raamat näitab, kuidas: • analüüsida keerulisi HTML-lehti; • arendada veebiskannereid Scrapy raamistiku abil; • salvestada kraapimise abil saadud andmeid; • lugeda ja ekstraktsioonida andmeid dokumentidest; • puhastada ja normaliseerida halvasti vormindatud andmeid; • lugeda ja kirjutada teavet loomulikes keeltes; • otsida vormide ja sisselogimislehtede kaudu; • kraapida JavaScripti koodi ja töötada API-dega; • kirjutada ja kasutada programme piltide tekstiks muutmiseks; • vältida kraapimise vastaseid lõkse ja robotite blokeerijaid; • testida oma veebisaite kraapimise abil.