Ноя 28
Парсер сайта на движке lookmy.info (сайт по продаже дверей)
Категория: Парсинг сайтов | Опубликовано: 28-11-2016
Был написан парсер сайта дверей на движке lookmy.info (сайт продает двери и связанную с ними фурнитуру). Структура категорий одно- и двухуровневая к которым относятся почти 2500 товаров.
С чем пришлось повозиться при парсинге:
- в исходном описании товаров встречались следы «левой» верстки, пришлось написать несколько правил замены
- в исходном описании товаров местами заглавные буквы новых предложений были в виде html-кодов для кириллицы. При просмотре контента через браузер — все отображается нормально, а в верстке вместо заглавной русской буквы «В» стоит вот такая кракозябра: В Похоже, тут без «SEO-шников» не обошлось. В результате пришлось создать в программе правила замены на нормальные символы.
В итоге получено:
Категорий — 56 штук (есть родительские и дочерние).
Информация по категориям:
поле | пример |
---|---|
уникальный идентификатор категории | 12 |
название родительской категории | Экошпон |
URL-родительской категории | |
название дочерней категории | Эль Порта |
URL-дочерней категории | http://[censored]/Ekoshpon/El-Porta/ |
URL-картинки категорий | http://[censored]/…/gallery.gif |
скачана картинки | да/нет |
кол-во товаров в категории | 5 |
новое имя картинки категории | categ12gallery.gif |
Товаров — 2473 штук.
Информация по товарам:
поле | пример |
---|---|
идентификатор категории | 12 |
уникальный идентификатор товара | 769 |
товар | Дверь Порта-21, пг, 3D Cappuccino |
Url к странице товара | http://[censored]/Ekoshpon/El-Porta/Dver—Porta-21-pg-3D-Cappuccino.html |
артикул | Артикул: 4379 |
описание товара | Каркас двери выполнен из высококачественного LVL бруса, имеющего однородную структуру, и как следствие превосходную устойчивость к деформации, небольшой вес и огнестойкость. Конструкция стоевых продублирована МДФ для повышения эксплуатационных качеств изделий. Филенки и вставки выполнены из плиты МДФ, что позволяет избежать дефомации двери в результате эксплуатации. Торцы полотна не имеют кромки. Стоевые укутываются целиком, при этом полностью исключаются проблемы связанные с отслаиванием кромки. Пленка, используемая при производстве двери, идеально передает фактуру, цвет и структуру натурального дерева. Технологии производства пленки и двери из экошпона позволяет использовать их в условиях влажных и не отапливаемых помещений. Поверхность пленки устойчива к различным механическим повреждениям.; |
строение товара | Стойка коробки МДФ 2070х70х26 — 280 руб/шт.Наличник прямоугольный МДФ 2150х70х8 — 140 руб/шт.Притворная планка 2000х30х8 — 260 руб/шт. |
о производителе | |
размеры товара | 600*2000|700*2000|800*2000|900*2000 |
описание вариантов комплектации | Без коробки|С телескопической коробкой |
описание вариантов наличников | Без наличников|Комплект телескопических наличников |
цена товара | 2490 руб. |
Картинок — 7702 штук в списке (по факту, живых картинок оказалось 6549 штук общим весом на 430 Мб).
Картинки без логотипов и водяных знаков.
Для примера:
Информация по картинкам:
поле | пример |
---|---|
тип картинки (1-превью товара, 2-первая картинка товара, 3-вторая картинка товара, 4-цвет текстуры двери) |
2 |
текстовое описание картинки | первая |
Url картинки | http://[censored]/…/elporta/5009.jpg |
признак скачана или нет | true |
новое стандартизованное имя картинки (на сайте картинки лежат по разным путям и имена часто совпадают) |
goods4250.jpg |
Как обычно, база товаров изначально создана в формате XML + папка с картинками.
Для удобства была экспортирована в формат MySQL.
Ну вот, как-то так.