Parsing naudojant Python. Tinklo duomenų nuskaitymas veiksme

Parsing naudojant Python. Tinklo duomenų nuskaitymas veiksme Jei programavimas — tai magija, tai tinklo duomenų nuskaitymas — tikras kerėjimas. Parašius paprastą automatizuotą programą, galima siųsti užklausas tinklo serveriams, gauti atsakymus su duomenimis, o tada analizuoti šiuos duomenis ir išgauti reikiamą... informaciją. Ši atnaujinta trečioji knygos leidimo versija ne tik supažindins jus su tinklo duomenų nuskaitymu, bet ir bus išsami vadovė apie beveik bet kokių duomenų rinkimą šiuolaikiniame internete. I dalyje pagrindinis dėmesys skiriamas tinklo duomenų nuskaitymo mechanikai: kaip naudojant Python siųsti užklausas tinklo serveriams, tvarkyti atsakymus ir automatizuoti sąveiką su svetainėmis. II dalyje nagrinėjami konkretesni įrankiai ir programos, kurie bus naudingi bet kokioje tinklo duomenų nuskaitymo situacijoje. Knyga parodys, kaip: • analizuoti sudėtingas HTML puslapius; • kurti tinklo skenerius naudojant Scrapy karkasą; • saugoti duomenis, gautus per duomenų nuskaitymą; • skaityti ir išgauti duomenis iš dokumentų; • valyti ir normalizuoti prastai suformatuotus duomenis; • skaityti ir rašyti informaciją natūraliomis kalbomis; • vykdyti paiešką formose ir prisijungimo puslapiuose; • vykdyti JavaScript kodo nuskaitymą ir dirbti su API; • rašyti ir naudoti programas, skirtas vaizdų konvertavimui į tekstą; • apeiti prieš duomenų nuskaitymą skirtas spąstus ir botų blokatorius; • testuoti savo svetaines naudojant duomenų nuskaitymą.