Ноя 28

Парсер сайта на движке lookmy.info (сайт по продаже дверей)

Категория: Парсинг сайтов | Опубликовано: 28-11-2016

Был написан парсер сайта дверей на движке lookmy.info (сайт продает двери и связанную с ними фурнитуру). Структура категорий одно- и двухуровневая к которым относятся почти 2500 товаров.

С чем пришлось повозиться при парсинге:

  • в исходном описании товаров встречались следы «левой» верстки, пришлось написать несколько правил замены
  • в исходном описании товаров местами заглавные буквы новых предложений были в виде html-кодов для кириллицы. При просмотре контента через браузер — все отображается нормально, а в верстке вместо заглавной русской буквы «В» стоит вот такая кракозябра: В Похоже, тут без «SEO-шников» не обошлось. В результате пришлось создать в программе правила замены на нормальные символы.

oh_uj_eti_SEO-shniki

В итоге получено:

Категорий — 56 штук (есть родительские и дочерние).
Информация по категориям:

поле пример
уникальный идентификатор категории 12
название родительской категории Экошпон
URL-родительской категории
название дочерней категории Эль Порта
URL-дочерней категории http://[censored]/Ekoshpon/El-Porta/
URL-картинки категорий http://[censored]/…/gallery.gif
скачана картинки  да/нет
кол-во товаров в категории 5
новое имя картинки категории categ12gallery.gif

Товаров — 2473 штук.

Информация по товарам:

поле пример
идентификатор категории 12
уникальный идентификатор товара 769
товар Дверь  Порта-21, пг, 3D Cappuccino
Url к странице товара http://[censored]/Ekoshpon/El-Porta/Dver—Porta-21-pg-3D-Cappuccino.html
артикул Артикул: 4379
описание товара Каркас двери выполнен из высококачественного LVL бруса, имеющего однородную структуру, и как следствие превосходную устойчивость к деформации, небольшой вес и огнестойкость. Конструкция стоевых продублирована МДФ для повышения эксплуатационных качеств изделий. Филенки и вставки выполнены из плиты МДФ, что позволяет избежать дефомации двери в результате эксплуатации. Торцы полотна не имеют кромки. Стоевые укутываются целиком, при этом полностью исключаются проблемы связанные с отслаиванием кромки. Пленка, используемая при производстве двери, идеально передает фактуру, цвет и структуру натурального дерева. Технологии производства пленки и двери из экошпона позволяет использовать их в условиях влажных и не отапливаемых помещений. Поверхность пленки устойчива к различным механическим повреждениям.;
строение товара Стойка коробки МДФ 2070х70х26 — 280 руб/шт.Наличник прямоугольный МДФ 2150х70х8 — 140 руб/шт.Притворная планка 2000х30х8 — 260 руб/шт.
о производителе
размеры товара 600*2000|700*2000|800*2000|900*2000
описание вариантов комплектации Без коробки|С телескопической коробкой
описание вариантов наличников Без наличников|Комплект телескопических наличников
цена товара 2490 руб.

Картинок — 7702 штук в списке (по факту, живых картинок оказалось 6549 штук общим весом на 430 Мб).
Картинки без логотипов и водяных знаков.
Для примера:
goods6259
Информация по картинкам:

поле пример
тип картинки (1-превью товара, 2-первая картинка товара,
3-вторая картинка товара, 4-цвет текстуры двери)
2
текстовое описание картинки первая
Url картинки http://[censored]/…/elporta/5009.jpg
признак скачана или нет true
новое стандартизованное имя картинки
(на сайте картинки лежат по разным путям и имена часто совпадают)
goods4250.jpg

Как обычно, база товаров изначально создана в формате XML + папка с картинками.
Для удобства была экспортирована в формат MySQL.
Ну вот, как-то так.

 

Оставить комментарий