Парсинг с помощью Python: Руководство для начинающих
В мире больших данных услуги по парсингу или извлечению данных являются основными требованиями к аналитике больших данных. Получение данных из Интернета стало почти неизбежным для компаний, чтобы оставаться в бизнесе. Следующий вопрос, который возникает, - как новичку заняться парсингом сайтов, и изучить веб-парсинг как инструмент исследования.
Данные могут быть извлечены или собраны из веб-источника с помощью нескольких методов. Популярные сайты, такие как Google, Facebook или Twitter, предлагают API для просмотра и извлечения доступных данных в структурированном виде. Это позволяет избежать использования других методов, которые могут быть нежелательны для поставщика API. Однако потребность в просмотре веб-сайта возникает тогда, когда информация не может быть легко предложена веб-сайтом. В таких случаях может потребоваться разработка специализированного ПО.
Python, язык программирования с открытым исходным кодом, часто используется для парсинга сайтов благодаря своей простой и богатой экосистеме. Он содержит библиотеку под названием "BeautifulSoup", которая выполняет эту задачу. Давайте более подробно рассмотрим парсинг сайтов с помощью python.
Настройка среды Python:
Чтобы выполнить парсинг с помощью Python, сначала необходимо установить среду Python, которая позволяет выполнять код, написанный на языке python.
Библиотеки выполняющие парсинг данных:
Beautiful Soup - удобная в использовании библиотека python. Это один из лучших инструментов для извлечения информации с веб-страницы. Специалисты могут извлекать информацию с веб-страниц в виде таблиц, списков или абзацев.
Urllib2 - еще одна библиотека, которую можно использовать в сочетании с библиотекой BeautifulSoup для извлечения веб-страниц. Для извлечения конкретной информации из веб-страниц можно добавлять фильтры. Urllib2 - это модуль Python, который может извлекать URL-адреса.
Для MAC OSX :
Чтобы установить библиотеки Python на MAC OSX, пользователям необходимо открыть терминал и ввести следующие команды, по одной за раз:
sudoeasy_install pip
pip install BeautifulSoup4
pip install lxml
Для пользователей Windows:
Пользователям Windows необходимо сначала убедиться, что среда python установлена. После установки среды откройте командную строку и найдите путь к корневому каталогу C:/ и введите следующие команды:
easy_install BeautifulSoup4
easy_installlxml
После установки библиотек пришло время написать код для парсинга данных.
Запускаем Python:
Парсинг данных с сайтов должен быть выполнен для конкретной цели, например, для просмотра текущих запасов розничного магазина. Сначала необходимо использовать веб-браузер для перехода на сайт, содержащий эти данные.
Определив таблицу, щелкните правой кнопкой мыши в любом месте на ней, а затем выберите элемент inspect из списка выпадающего меню. В результате в нижней или боковой части экрана появится окно с Html-кодом сайта.
Рейтинги отображаются в виде таблицы. Возможно, вам придется просмотреть данные HTML, пока вы не найдете строку кода, которая выделяет таблицу на веб-странице.
Кроме BeautifulSoup, Python предлагает несколько других альтернатив для парсинга HTML. К ним относятся библиотеки:
- Scrapy
- Scrapemark
- Mechanize
Парсер преобразует неструктурированные данные из HTML-кода в структурированную форму данных, например, табличные данные в рабочем листе Excel. Парсинг сайтов может быть выполнен различными способами, начиная от использования Google Docs и заканчивая языками программирования.
Люди, не обладающие знаниями программирования или техническими навыками, могут получить веб-данные, используя услуги парсинга сайтов, которые предоставляют готовые к использованию данные с сайтов по вашему выбору.
Теги HTML:
Чтобы реализовать парсинг сайта необходимо хотя бы немного рабираться в HTML тегах.
HTML таблицы обозначаются как <Table>, строки как <tr> и столбцы и разделители как <td>;
- <!DOCTYPE html> : HTML-документ начинается с объявления типа документа.
- Основная часть HTML-документа в виде неформатированного обычного текста определяется тегами <body> и </body>.
- Заголовки в HTML определяются с помощью тегов заголовков от <h1> до <h5>
- Абзацы в HTML определяются с помощью тега <p>.
- Весь документ HTML содержится между <html> и </html>.
Использование BeautifulSoup в парсинге:
В процессе парсинга веб-страницы с помощью BeautifulSoup главное - определить конечную цель. Например, если вы хотите извлечь список из веб-страницы, необходим поэтапный подход:
Первым и самым важным шагом является импорт необходимых библиотек:
import urllib2
page = urllib2.urlopen(wiki)
from bs4 import BeautifulSoup
soup = BeautifulSoup(page)
Используйте функцию "prettify" для визуализации вложенной структуры HTML-страницы
Извлечение информации в DataFrame: Необходимо просмотреть каждую строку (tr), а затем присвоить каждый элемент tr (td) переменной и добавить его в список.
Проанализируем HTML-структуру таблицы Table. (Извлечение информации для заголовка таблицы <th>)
Чтобы получить доступ к значению каждого элемента, необходимо использовать опцию "find(text=True)" с каждым элементом. Наконец, есть данные в dataframe.
Существуют различные другие способы сбора данных с помощью "BeautifulSoup", которые сокращают ручные усилия по сбору данных с веб-страниц. Код, написанный в BeautifulSoup, считается более надежным, чем регулярные выражения. Рассмотренный нами метод парсинга использует библиотеки "BeautifulSoup" и "urllib2" в Python. Это было краткое руководство для начинающих, чтобы начать использовать Python для парсинга сайтов.
Планируете получить данные из Интернета для науки о данных? Мы готовы помочь с облачной разработкой и интеграцией. Сообщите нам о своих задачах.