Parsings ar Python palīdzību. Web-skrāpēšana darbībā

Parsings ar Python palīdzību. Web-skrāpēšana darbībā Ja programmēšana ir maģija, tad web-skrāpēšana ir īsta burvība. Uzrakstot vienkāršu automatizētu programmu, var sūtīt pieprasījumus web-serveriem, saņemt atbildes ar datiem un pēc tam analizēt šos datus un izvilkt nepieciešamo informāciju. Šis atjaunotais trešais izdevums ne tikai iepazīstinās jūs ar web-skrāpēšanu, bet arī kalpos par izsmeļošu ceļvedi datu vākšanai praktiski jebkura veida informācijai mūsdienu internetā. I daļā galvenā uzmanība tiek pievērsta web-skrāpēšanas mehānikai: kā ar Python sūtīt pieprasījumus web-serveriem, apstrādāt atbildes un automatizēt mijiedarbību ar vietnēm. II daļā tiek pētīti konkrētāki rīki un lietojumprogrammas, kas noderēs jebkurā web-skrāpēšanas scenārijā. 

Grāmata parādīs, kā: 

• analizēt sarežģītas HTML lapas; 

• izstrādāt web skenerus, izmantojot Scrapy ietvaru; 

• glabāt datus, kas iegūti ar skrāpēšanu; 

• lasīt un izvilkt datus no dokumentiem; 

• attīrīt un normalizēt slikti formatētus datus; 

• lasīt un rakstīt informāciju dabiskajās valodās; 

• veikt meklēšanu formās un pieteikšanās lapās; 

• veikt skrāpēšanu JavaScript kodā un strādāt ar API; 

• rakstīt un izmantot programmas, lai pārvērstu attēlus tekstā; 

• apiet pret-skrāpēšanas slazdus un botu bloķētājus; 

• testēt savas vietnes, izmantojot skrāpēšanu.