Парсинг каталогов: схема из 3 шагов, шаблон и инструкция AI-агенту

Аватар автора
Евгений
Схема парсинга интернет-каталогов, которая прошла через сотни проектов. Три шага: ссылки → данные → изображения. Хранение — SQLite. Репозиторий с готовым шаблоном. И бонус: AI-агент написал парсер за 5 минут. 00:00 — Схема парсинга каталогов. О чём ролик и книга 01:03 — Три шага: ссылки → данные → изображения 01:42 — Почему SQLite, а не CSV/JSON 02:11 — Пример структуры базы данных (Products, Params, Images) 02:49 — Как база ускоряет загрузку в любую CMS (Битрикс, WooComerce, Tilda) 04:06 — Репозиторий parser‑products: клонируем и настраиваем 06:10 — Создаём базу данных. Знакомство с requests_session.py 07:21 — Шаг 1: парсим ссылки (get_links) 10:11 — Запускаем сбор ссылок 10:38 — Шаг 2: парсим детали (get_details) 13:15 — Шаг 3: скачиваем изображения (download_images) 14:58 — Облажал с характеристиками, исправил 16:27 — Перезапускаем парсинг с чистой базы 17:44 — Скачиваем изображения. Проверяем результат 18:06 — Инструкция для AI-агента (файл instructions.md) 24:17 — Итоги: схема → SQLite → репозиторий → AI-агент #парсингмагазинов

0/0


0/0

0/0

0/0

0/0