Парсинг и аналитика маркетплейса Wildberries

ЗАДАЧА

К нам обратился продавец, активно работающий на маркетплейсе Wildberries и столкнувшийся с отсутствием оперативной и прозрачной аналитики по своим товарам. Существующие отчеты маркетплейса не позволяли быстро оценивать реальную маржинальность каждой позиции с учетом всех комиссий, логистики и хранения, а ручной сбор данных отнимал десятки часов в месяц. Критически не хватало возможности отслеживать эластичность спроса при изменении цены, видеть динамику остатков и скорость оборачиваемости на уровне артикулов, чтобы принимать решения о закупках без риска затоваривания или упущенных продаж.

Бизнесу требовалась единая система, которая агрегирует разрозненные данные — историю продаж, текущие остатки, ценовую историю, логистические перемещения — и представляет их в удобном табличном и графическом виде. Особый акцент заказчик делал на прогнозировании потребности в товарах и формировании заказов поставщикам на основе автоматических рекомендаций, отталкиваясь от реальной скорости реализации и текущих складских запасов.

РЕШЕНИЕ

В качестве технологической основы был выбран фреймворк Laravel на языке PHP, обеспечивающий быструю разработку, гибкую маршрутизацию и удобную работу с очередями. Для отображения больших массивов данных и интерактивных таблиц применили библиотеку AG-Grid, позволившую реализовать динамические фильтры, сортировку и группировку прямо в интерфейсе без дополнительных запросов к серверу. Сбор данных организован через два канала: официальное API Wildberries (отчёты о продажах, остатки, поставки) и парсинг страниц товаров для получения дополнительной информации — цены конкурентов, отзывов, рейтинга и категорийных данных, недоступных через API.

Основные функции системы

• Полная история продаж по артикулу: количественные и денежные показатели с детализацией по дням и складам.
• Остатки по складам в реальном времени с выделением товаров в пути и доступных к отгрузке.
• Анализ доступности: автоматический расчёт дней в наличии и дней отсутствия за выбранный период для оценки упущенных продаж.
• Группировка товаров: умные группы по остаткам, продажам, оборачиваемости или заданным менеджером критериям.
• Заказ товаров с автоматическим расчётом рекомендуемого объёма на основе скорости реализации и генерацией XLS-файла для отправки поставщику.
• Интерактивные диаграммы: продажи, остатки, динамика цены, выручка — как по отдельному товару, так и по любой выборке или группе.
• Собственный расчёт оборачиваемости и сравнение с официальными цифрами Wildberries для независимого контроля.
• Персональные настройки менеджеров: сохранение фильтров, колонок и дашбордов для индивидуальной работы.
• Мониторинг эластичности спроса: сравнение изменения продаж при изменении цены для выбора оптимальной стратегии.

РЕАЛИЗАЦИЯ

Проект выполнялся поэтапно, с активной фазой разработки в течение 4 месяцев и последующими доработками и улучшениями на протяжении почти полугода. Такая длительная поддержка позволила обкатать систему на реальных данных и внедрить уточняющие алгоритмы, основанные на обратной связи от команды продавца.

Сбор и обработка данных

Главным вызовом стало объединение потоков из разных источников. Ежедневные отчёты по продажам и остаткам поступают через статистическое и складское API WB, однако часть данных — например, фактическая розничная цена с учётом скидок или позиция в категории — извлекалась путём контролируемого парсинга карточек товаров. Для обхода ограничений использовался пул прокси-серверов с географической привязкой и механизм повторных попыток с увеличивающейся задержкой. Все сырые данные проходили многоступенчатую очистку, валидацию и сохранялись в денормализованные таблицы для быстрой выборки.

Обновление информации организовано через планировщик задач Laravel: тяжёлые отчёты (месячные продажи, логистические начисления) загружаются в ночные часы, а лёгкие показатели (остатки, цены) синхронизируются каждые полчаса. Результаты кэшируются, что позволяет тысячам строк отображаться в интерфейсе без задержек.

Архитектура и безопасность

Система развёрнута в закрытом контуре на выделенном сервере заказчика. Доступ строго аутентифицирован, роли и права разделены: аналитики видят все отчёты, менеджеры по закупкам — только свои товарные группы, руководитель — агрегированную панель. Интеграция с API маркетплейса защищена токенами, хранящимися в шифрованном виде. Логирование всех изменений и формирование XLS-файлов с заказами поставщику происходят с сохранением истории, чтобы контролировать динамику планирования.

Рекомендательная система

Ключевой интеллектуальный модуль проекта — механизм автоматических рекомендаций по объёму заказа. Алгоритм анализирует скорость реализации за последние 2–4 недели, текущий остаток, средний срок поставки от конкретного поставщика и сезонные коэффициенты. Рекомендуемое количество рассчитывается как оптимальный уровень для покрытия спроса до следующей поставки с учётом страхового запаса. Все параметры настраиваются менеджером, а результат выгружается в готовый файл для отправки поставщику, исключая ручные расчёты и ошибки.

РЕЗУЛЬТАТ

Платформа стала центральным инструментом управления товарными запасами и ценообразованием для внутренней команды продавца. Ежедневные трудозатраты на сбор и анализ статистики сократились более чем на 70% — теперь все ключевые метрики доступны на одном экране. Благодаря прозрачному расчёту маржинальности с учётом всех издержек предприниматель получил возможность принимать взвешенные решения о выводе новых позиций и корректировке цен, основываясь на данных об эластичности спроса.

Функция автоматического заказа позволила снизить случаи дефицита товаров на пике спроса на 25% и одновременно уменьшить объём неликвидов за счёт точного прогноза потребности. Гибкая система персональных настроек и групп обеспечила удобную работу нескольких менеджеров без конфликтов данных. В итоге окупаемость разработки, по оценке заказчика, была достигнута в течение первых трёх месяцев промышленной эксплуатации.