Transcript
00:00:00Это Scrapling, Python-скрейпер, который пытается решить самую большую проблему веб-скрейпинга.
00:00:05Скрейпер работает сегодня, но ломается, как только сайт меняется. Одно переименованное имя класса,
00:00:10один перемещенный div, одна проверка на ботов — и ваш конвейер данных мертв. Весь смысл Scrapling в том, что
00:00:17ваш скрейпер может адаптироваться, вместо того чтобы разваливаться. У него более 53 000 звезд на GitHub,
00:00:22он поддерживает адаптивный парсинг, скрытное получение данных и более крупные рабочие процессы.
00:00:27Я собираюсь проверить то, что действительно имеет значение.
00:00:30Сможет ли он пережить изменение сайта без переписывания селекторов? Сейчас узнаем.
00:00:40Итак, что такое Scrapling? Это адаптивный универсальный Python-фреймворк для веб-скрейпинга.
00:00:46Вы получаете самовосстанавливающийся парсер, скрытные загрузчики, браузерный доступ там, где нужен JavaScript,
00:00:51и фреймворк для крупных обходов сайтов. Одна установка, один API. Это значит меньше сломанных
00:00:57скрейперов и больше полезных данных. А теперь давайте посмотрим на то, что действительно важно.
00:01:03Если вам нравится создавать инструменты для ускорения работы, обязательно подпишитесь. Мы постоянно
00:01:08выпускаем новые видео. Итак, у меня здесь базовая настройка, верно? Я уже установил Scrapling, поэтому будем
00:01:13двигаться быстро. Один импорт и один вызов — все, что нужно для получения страницы. Здесь сверху я создал HTML, который меняется.
00:01:21Сначала идет обычный стартовый сайт. Затем я оставил все то же самое, но изменил CSS-селекторы.
00:01:27Допустим, я хочу получить название продукта и цену. Обычно я бы брал их с помощью CSS-селекторов,
00:01:34правильно? Так что page CSS, вставляю селектор, auto-save: true. Я могу так сделать,
00:01:40это сработает, и мы получим словарь с данными. Выглядит нормально. Два селектора, словарь,
00:01:46я иду дальше. Вот и все. Но в то же время это и есть проблема, потому что обычный скрейпер отлично
00:01:52работает до тех пор, пока страница не изменится. А что, если сайт внезапно изменится за ночь? Его передизайнили,
00:01:58сделали что-то, чтобы предотвратить это. Название продукта стало “заголовком элемента”, или цена продукта стала
00:02:04“значением стоимости”. На странице те же данные, но вся DOM-структура изменилась. Старые селекторы должны
00:02:11быть бесполезны. И именно здесь большинство скрейперов просто сломаются. Но теперь мы можем включить адаптивный режим.
00:02:18Одно изменение: вместо autosave равно true ставим adaptive равно true. Теперь я могу оставить “название продукта”
00:02:26с параметром adaptive, равным true. Те же данные. Я не менял селекторы. Другая структура страницы без
00:02:34переписывания селекторов. Вот в чем главная идея. Когда вы скрейпите элемент с autosave: true,
00:02:40Scrapling записывает подсказки о нем. Он запоминает теги, атрибуты,
00:02:44родительские и дочерние элементы, любой соседний текст, вероятно, положение в DOM и общую структуру. Поэтому, когда
00:02:50имя класса меняется, у Scrapling остается больше подсказок. Ему не нужно, чтобы весь сайт оставался прежним.
00:02:56Ему нужно лишь достаточно структурных сигналов, чтобы снова распознать элемент. И это
00:03:01тот самый важный момент, потому что сбои скрейперов почти никогда не связаны с полной переработкой. Это переименованный класс,
00:03:06новая обертка, сдвиг макета — какая-то мелочь. Именно для этого и создано адаптивное сопоставление.
00:03:13У Scrapling есть три важные составляющие. Первое — это адаптивный парсер, который вы только что видели.
00:03:18Затем — универсальный загрузчик, один рабочий процесс, правильный инструмент для задачи. Загрузчик поддерживает обычный HTTP,
00:03:25быстрый для простых страниц. Скрытный загрузчик может обходить антибот-системы. Динамический загрузчик использует настоящий
00:03:32браузер для сайтов с тяжелым JS. Один API, меняете загрузчик, сохраняете код. Фреймворк для обхода (spider) нужен,
00:03:39когда простые скрипты превращаются в серьезный краулер. Асинхронный обход, пауза и возобновление, ротация прокси, стриминг и смешанные
00:03:46сессии. Все то, что вы обычно добавляете позже, уже есть. Scrapling — это не просто очередной
00:03:53парсер. Он заменяет целый стек скрейпинга: Requests, BeautifulSoup, Playwright, логику повторных попыток, помощники прокси,
00:04:00код краулера — все в одном рабочем процессе. Scrapling не говорит, что BeautifulSoup бесполезен,
00:04:06и не говорит, что Playwright или Scrapy мертвы. BeautifulSoup плюс Requests все еще отлично подходят для простых страниц. Это просто,
00:04:13читаемо и всем понятно, но это не дает вам никакой защиты, никаких
00:04:20адаптивных селекторов и не рендерит JavaScript. А для крупных задач по парсингу это может
00:04:26стать настоящим “бутылочным горлышком”. Теперь, Scrapy мощный. Если вы строите серьезную
00:04:31инфраструктуру для краулинга, Scrapy все еще заслуживает уважения, но Scrapy часто означает настройки, пайплайны, мидлвары,
00:04:36расширения и много другой настройки. Playwright и Selenium хороши, когда нужен настоящий браузер.
00:04:42Иногда странице просто необходим JavaScript. От этого никуда не деться. Но браузеры тяжелые. Они
00:04:48медленнее, чем обычный HTTP, и потребляют больше памяти. И опять же, они не решают проблему сломанных
00:04:54селекторов. Они отображают страницу, но не понимают, что именно ваш скрейпер хотел извлечь. Так что с помощью Scrapling
00:05:01вы можете использовать быструю загрузку, когда это возможно, скрытность, когда нужно,
00:05:06браузерный рендеринг, если страница требует его, и адаптивный парсинг. Так что одно маленькое изменение во фронтенде не взорвет все.
00:05:12Все это не значит, что у Scrapling нет проблем, верно? Если вы имеете дело с защитой уровня DOM,
00:05:17продвинутым фингерпринтингом или жесткими ограничениями по частоте запросов, вам все равно могут понадобиться хорошие прокси. Scrapling может
00:05:23помочь, но он не делает вас невидимым. Динамическая загрузка также означает дополнительную настройку браузера. Это
00:05:29компромисс при использовании JavaScript-рендеринга. Вот пара мыслей напоследок.
00:05:34Scrapling стоит попробовать, если вы занимаетесь реальным скрейпингом, особенно если строите конвейеры данных,
00:05:41работаете с RAG, AI-агентами или чем угодно, что должно продолжать работать после изменения целевого сайта.
00:05:47Самая веская причина использовать его не в том, что он делает скрейпинг возможным. У нас уже есть инструменты,
00:05:53которые справляются с этим. Самая веская причина — он сокращает затраты на поддержку. Конечно, я бы,
00:05:59наверное, пропустил бы его, если у вас крошечный скрипт. Requests и BeautifulSoup сделают свое дело.
00:06:04Если вам нравятся подобные инструменты, подпишитесь на канал BetterStack. Увидимся в следующем видео.
Community Posts
No posts yet. Be the first to write about this video!
Write about this video