Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц.
Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике.
Прочитав эту книгу, вы научитесь:
выполнять парсинг сложных HTML страниц;
сканировать веб-страницы и сайты;
работать с API;
применять несколько методов хранения собранных данных;
скачивать, обрабатывать и извлекать данные из документов;
использовать инструменты и методы для очистки плохо отформатированных данных;
читать и записывать естественные языки;
выполнять краулинг с использованием регистрационных форм;
выполнять скрапинг javascript-кода;
обрабатывать изображения и распознавать текст.
Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.

Название: Скрапинг веб-сайтов с помощью Python
Автор: Райан Митчелл
Год: 2016
Жанр: компьютерная, программирование
Издательство: ДМК Пресс
Язык: Русский

Формат: pdf
Качество: Отсканированные страницы
Страниц: 280
Размер: 8 MB