Советы по правильному извлечению веб-данных даже с самых сложных сайтов с помощью лучших практик парсинга

Поиск данных в Интернете сопряжен с определенными трудностями, и это не должно удивлять, если вы когда-нибудь пробовали искать данные в Интернете. Данные, доступные в Интернете, не подчиняются никаким правилам, структуре или стандартам, и уже одно это затрудняет прогнозирование проблем, с которыми можно столкнуться при поиске данных в Интернете. Сложность возрастает во много раз, когда сложный парсинг необходимо выполнять в масштабе.

Веб-данные, несмотря на то, что они несут в себе бесценную информацию для бизнеса, все еще остаются для многих твердым орешком. Именно здесь на помощь приходит специализированная служба парсинга, такая как наша. В ESK Solutions к нам обращаются с задачами совершенно разного рода, и каждая задача по поиску данных сама по себе является вызовом.

Однако сложность извлечения веб-данных сильно варьируется в зависимости от нескольких факторов. Вот некоторые из наиболее сложных задач, с которыми мы справились на сегодняшний день.

Проект 1: Анализ данных телекоммуникационного сектора 

Целевые сайты: Сайты операторов сотовой связи

Необходимые точки данных: Все предложения, доступные для различных сегментов клиентов

Компания хотела собрать данные о предложениях, доступных на сайтах различных операторов сотовой связи, чтобы обеспечить конкурентное преимущество своим клиентам в этой области. Требование было выполнимым, несмотря на то, что оно было чрезвычайно сложным. Ниже перечислены проблемы, которые сделали этот проект чрезвычайно сложным.

Проблемы проекта

1. Слишком много шагов, чтобы добраться до данных

Информация о предложениях на сайтах-источниках отображалась только после ввода определенных переменных, таких как почтовый индекс клиента и тип предложения. Это означало длинный путь до отображения фактических данных. В результате парсер пришлось запрограммировать на выбор каждой возможной комбинации вводимых данных, чтобы эффективно заставить сайт отобразить все имеющиеся данные.

2. Частые изменения сайта

Поскольку мобильная индустрия является быстро развивающейся, данные, доступные на этих сайтах, имеют тенденцию меняться очень часто. Провайдеры мобильных сетей часто вносят изменения в существующие предложения, прекращают действие некоторых тарифов-предложений и предлагают новые. Это потребовало тщательного мониторинга и внедрения автоматизированного парсинга для решения проблем, связанных с изменениями на сайте.

3. Проблемы с кодировкой символов

Кодировка символов на сайте обычно указывается сайтом в его HTML-коде. Однако некоторые веб-сайты могут иметь неправильное объявление кодировки символов или использовать более одной кодировки символов на сайте. Это может значительно усложнить настройку парсера и продолжать вызывать проблемы, если сайт не соответствует кодировке символов.

4. Избыточные данные на сайте

Избыточные данные могут стать настоящей проблемой, особенно когда масштаб извлечения данных с сайтов велик. Хотя у нас есть система очистки, предназначенная для поиска и удаления избыточных записей из набора данных, наличие избыточных данных на сайте еще больше усложняет процесс извлечения.

Проект 2: Извлечение данных с сайтов для поиска отелей и сравнения цен

Целевые сайты: Онлайновые туристические порталы и веб-сайты отелей

Необходимые данные: Списки и отзывы об отелях

Клиент хотел получить данные об отелях с сотен туристических сайтов со всего мира, чтобы создать универсальную систему поиска отелей. Каждый целевой сайт нуждался в собственной настройке парсера, и отдельные проблемы, которые необходимо было решить при настройке краулеров для 100+ сайтов, сделали этот проект сложным.

Сложности проекта

1. Блокировка

Некоторые сайты в целевом списке имели различные механизмы блокировки, направленные на автоматические парсеры. С этим нужно было справиться, используя оптимальную частоту GET-запросов и запрашивая только номинальное количество страниц за раз. Мы избегали блокирующих механизмов, следуя лучшим практикам веб-парсинга.

2. Обнаружение

Обнаружение URL-адресов для извлечения - критически важный этап процесса парсинга и извлечения данных, а плохая навигационная структура некоторых целевых сайтов затрудняла для парсеров беспрепятственное перемещение по страницам. Мы решили эту проблему, установив несколько правил отступления для операции обнаружения URL.

3. Проблемы с кодировкой символов

Проблемы с кодировкой символов были сложной задачей. Мы должны были вручную убедиться, что используемые нами кодировки соответствуют кодировкам каждого целевого сайта. В случае, если сайты показывали несоответствие кодировки символов, мы также устанавливали некоторые автоматические средства для решения этой проблемы.

4. Избыточные данные на целевых сайтах

Избыточные данные, присутствующие на нескольких сайтах, добавили сложности в этот проект. Мы позволили нашей системе очистки позаботиться об устранении избыточности в извлеченных данных, и этот подход, похоже, оказался полезным и для клиента.

Проект 3: Консалтинговой фирме нужны данные о товарах для создания системы ценовой разведки

Целевые сайты: Популярные порталы электронной коммерции

Необходимые данные: Информация о товаре

Клиент хотел помочь одному из своих клиентов с анализом цен и нуждался в услуге, которая могла бы не только доставить данные о товаре, но и выполнить подбор. Хотя мы обычно не занимаемся процессами, выходящими за рамки извлечения и доставки данных, мы решили взяться за это, учитывая масштаб и интересный характер требования.

Задача проекта

1. Сопоставление (метчинг) товаров

Метчинг товаров - очень сложный аспект, который выходит за рамки опыта парсинга данных. Здесь необходима сильная система сопоставления, так как каждый другой портал электронной коммерции будет иметь незначительные различия в описаниях товаров, включая название продукта и название бренда.

Тем не менее, мы разработали алгоритм, который может выполнять сопоставление после извлечения и индексации данных на нашей стороне, чтобы удовлетворить требования этого уникального проекта.

Услуги парсинга данных - это решение проблем

Учитывая отсутствие стандартизации, когда речь идет о данных, отображаемых на веб-сайтах, парсинг был и всегда будет сложной задачей, для решения которой необходимо использовать навыки, опыт и знания. Именно поэтому мы подчеркиваем важность использования полностью управляемого решения, когда речь идет о потребности в веб-данных для предприятий, независимо от их размера и сферы деятельности.