Как парсить сайты вакансий и отслеживать новые объявления

Чтобы парсить сайты вакансий с помощью Datablist, откройте Job Postings Search, выберите ключевые слова и страны, а затем импортируйте подходящие вакансии в коллекцию. Также можно искать вакансии в компаниях из вашей CRM. Сохраняйте ID вакансии, сайт компании и дату публикации, чтобы сравнивать результаты при повторном поиске.

Рекомендую разделять две задачи: поиск новых компаний, которые нанимают сотрудников, и мониторинг новых позиций в уже известных вам компаниях. Исключение ранее найденных компаний полезно в первом случае, но во втором оно скроет новые вакансии.

В этом руководстве рассмотрены поиск по фильтрам и списку компаний, доступные для сбора поля и процесс повторного поиска, который помогает отслеживать новые публикации, не учитывая одну вакансию дважды.

📺 Для тех, кто предпочитает видео

Если вы, как и я, предпочитаете смотреть, а не читать, посмотрите моё видео о том, как одновременно парсить вакансии с 19 сайтов 👈🏽

Что вы узнаете из статьи

• Как одновременно парсить 19 сайтов вакансий
• Какие сайты вакансий парсит Datablist
• Как парсить несколько сайтов вакансий: пошаговая инструкция
• Как искать вакансии компаний из вашей CRM: пошаговая инструкция
• Зачем парсить несколько сайтов вакансий, а не один
• Как использовать данные о вакансиях в продажах и маркетинге

Как одновременно парсить 19 сайтов вакансий

Если вы хотите одновременно парсить 19 сайтов вакансий, есть два варианта:

• Самостоятельно создать скрапер для каждого сайта и разбираться со сложным кодом
• Использовать скрапер Datablist, который агрегирует данные с 19 сайтов вакансий по всему миру

Datablist выполняет поиск по агрегированной базе вакансий своего поставщика данных. В результатах вы получаете подходящие проиндексированные объявления — сервис не сканирует каждый из перечисленных сайтов с нуля при каждом запросе. Охват и доступные поля зависят от конкретной вакансии, поэтому проверяйте исходные URL объявлений, которые планируете использовать.

💡 Что такое Datablist

Datablist — это платформа для создания процессов лидогенерации, которая позволяет находить, обогащать и очищать данные с помощью более чем 60 различных инструментов: от AI Agents и Email Finders до AI processors, Technology enrichments и других решений.

Кроме того, Datablist позволяет настраивать автоматизированные процессы, запускаемые по расписанию или по запросу. Вот несколько практических сценариев, популярных среди пользователей Datablist:

1. Создание списков лидов
2. Персонализация писем с помощью AI
3. Очистка CRM и удаление дублей
4. Одновременный парсинг вакансий с 19 сайтов
5. Парсинг результатов поиска LinkedIn Sales Navigator без риска для аккаунта

Думаю, суть понятна: если вам нужно получать или очищать данные либо автоматизировать связанные с ними процессы, причём просто, быстро и надёжно, вам подойдёт Datablist.

Какие сайты вакансий парсит Datablist

У Datablist есть несколько важных преимуществ перед другими скраперами вакансий. Сервис одновременно агрегирует данные с 19 сайтов вакансий, экономя часы, которые иначе пришлось бы тратить на настройку и поддержку отдельных скраперов.

Ниже перечислены сайты, данные с которых собирает Datablist:

Глобальные сайты вакансий:

• Indeed: один из мировых лидеров с широким охватом стран и отраслей.
• Glassdoor: глобальная платформа, сочетающая вакансии с отзывами о работодателях

Региональные сайты вакансий:

• Азия и Океания
  • Seek: лидер рынка Австралии и Новой Зеландии
  • Naukri: лидер индийского рынка с миллионами вакансий
  • Naukri Gulf: специализируется на рынках труда Ближнего Востока
  • JobsDB: широко представлен в странах Юго-Восточной Азии
  • Jobstreet: популярен в Малайзии, на Филиппинах, в Сингапуре и других азиатских странах
• Европа
  • Infojobs: лидирует в Испании и некоторых странах Латинской Америки
  • Tecnoempleo: испанская платформа, специализирующаяся на вакансиях в сфере технологий
  • Welcome to The Jungle: крупная французская платформа, расширяющая присутствие на других европейских рынках

Нишевые сайты вакансий и ATS-системы:

• Экосистема стартапов
  • AngelList (теперь Wellfound): специализируется преимущественно на вакансиях американских технологических стартапов
  • Startup Jobs: публикует позиции в компаниях ранних стадий из Северной Америки
• ATS-системы (системы управления кандидатами)
  • Workable, Greenhouse, Lever, Ashby, Join, BambooHR, SimplyHired: Datablist также собирает данные из этих систем, обеспечивая ещё более широкий охват рынка труда

Как парсить несколько сайтов вакансий: пошагово

В Datablist мы стремимся предоставить пользователям максимум контроля над тем, какие данные они получают и каким способом.

Поэтому мы предлагаем два способа парсинга вакансий:

1. С помощью поисковых фильтров Datablist
2. С помощью поиска вакансий по списку компаний

Как парсить сайты вакансий по фильтрам

В этом разделе я покажу, как использовать фильтры агрегатора Datablist, чтобы находить вакансии по ключевым словам, уровню должности, местоположению и другим критериям.

Приступим!

Сначала зарегистрируйтесь в Datablist.

Создайте Collection.

Нажмите Job Postings Search.

Настройте фильтры для нужных вакансий. Текущие параметры ниже могут отличаться от показанных на более ранних скриншотах.

Фильтры вакансий и компаний

Начните с точного запроса. Например, чтобы найти вакансии, связанные с Python, в Великобритании, укажите python в Job Description Keywords, выберите Великобританию в Countries, оставьте для Job Status значение Only Open Jobs (default), выберите Last 7 days в Max Age и установите Limit на 100 для первого запуска.

Проверьте первые результаты, прежде чем расширять поиск. Упоминание Python в описании не обязательно означает, что разработка на Python — основная задача специалиста.

Выберите логику поиска по ключевым словам:

• Job Title Keywords принимает фразы, разделённые запятыми. Заголовок соответствует запросу, если содержит все слова хотя бы одной фразы — без учёта регистра и в любом порядке. Запрос data engineer может найти вакансию Senior Data Platform Engineer.
• Exclude Job Title Keywords исключает подходящие названия, например позиции со словом intern.
• Job Description Keywords по умолчанию ищет полные слова как обычный текст. Запрос sales найдёт sales manager, но не Salesforce.
• Use Regex for Description Matching включает регулярные выражения. В этом режиме Require All Description Patterns позволяет требовать совпадения со всеми указанными шаблонами, а не хотя бы с одним. Для простого поиска по ключевым словам не включайте regex.
• Exclude Job Description Keywords использует выбранный вами режим сопоставления описаний.

Выберите местоположение и статус вакансии:

• Job Locations фильтрует города или регионы, а Countries — страну вакансии. Местоположение штаб-квартиры компании задаётся отдельным фильтром.
• Workplace Types предлагает варианты On-site, Hybrid и Remote. Employment Types фильтрует полную и частичную занятость, работу по контракту и другие типы трудоустройства.
• Job Seniority фильтрует позиции по уровню опыта.
• Job Status позволяет получать открытые, закрытые или все вакансии. Для актуального списка найма выбирайте открытые вакансии.
• Only with Recruiter Info оставляет только объявления с информацией о рекрутере. В некоторых вакансиях могут присутствовать лишь отдельные сведения, поэтому проверяйте возвращённые поля.

Выберите компании и временной интервал:

• Filter Job Postings for a specific list of Companies ищет вакансии компаний из коллекции. См. процесс работы со списком компаний.
• Exclude Job Postings posted by a specific list of Companies исключает все вакансии, опубликованные компаниями с выбранными доменами. Используйте этот параметр для организаций, которые вы намеренно не хотите видеть в результатах.
• Фильтры компаний включают Company Type, Company Industries, Company Funding Stage, а также местоположение или страну штаб-квартиры.
• Max Age ограничивает возраст публикации. Posted On or After и Posted On or Before задают точный диапазон дат и при заполнении имеют приоритет над Max Age.
• Limit ограничивает количество возвращаемых вакансий. Значение по умолчанию — 1 000, максимум — 2 000 за один поиск. Если вы достигли лимита, сузьте запрос: не следует считать, что система собрала все подходящие вакансии.

Как исключить компании из мониторинга

Исключение компаний удобно, если нужно убрать действующих клиентов или организации, не соответствующие вашей целевой аудитории. Это не дедупликация на уровне вакансий. Исключив найденную вчера компанию, вы также не увидите другую вакансию, которую она опубликует завтра.

Чтобы настроить список исключений:

1. Включите Exclude Job Postings posted by a specific list of Companies.
2. Выберите список исключений в Datablist Collection.
3. Сопоставьте Datablist Collection Property со столбцом, содержащим сайт или домен компании.

Запуск поиска вакансий

Настроив все фильтры, нажмите Continue.

Datablist вернёт следующие данные:

Перейдите в нижнюю часть страницы и нажмите Run import now.

После завершения работы скрапера результаты будут выглядеть так:

Поиск вакансий по списку компаний

Как я уже упоминал, этот вариант позволяет парсить вакансии компаний, которые уже есть в вашем рабочем пространстве Datablist, CRM или любой другой базе данных.

Для этого в коллекции Datablist должны быть указаны название компании, URL страницы компании в LinkedIn или URL её сайта.

Сначала зарегистрируйтесь в Datablist.

Выполните Import списка компаний.

Создайте отдельную Collection.

Откройте Job Postings Search.

Теперь выполните следующие действия:

1. Включите Filter Job Postings for a specific list of Companies.
2. Выберите загруженный список в Datablist Collection.
3. Сопоставьте Datablist Collection Property со столбцом, содержащим сайт компании, её название или URL страницы в LinkedIn. По возможности рекомендую использовать сайты, чтобы избежать неоднозначности названий.
4. С помощью фильтров задайте параметры вакансий, которые хотите собрать. Нажмите здесь, чтобы посмотреть все фильтры.

По той же логике можно задать коллекцию с сайтами или доменами компаний, которые нужно исключить из результатов.

💡 3 полезных совета по парсингу сайтов вакансий

Совет 1: Исключите действующих клиентов из поиска вакансий, чтобы избежать неловких ситуаций.

Совет 2: Добавьте бывших клиентов в поиск вакансий, чтобы получить повод возобновить общение.

Совет 3: Фильтровать и исключать компании можно не только по доменам, но и по URL сайтов и названиям.

После завершения настройки нажмите Continue.

Затем перейдите в нижнюю часть страницы и нажмите Run import now.

После завершения импорта проверьте найденные вакансии и их исходные URL. Состав полученных данных зависит от поисковых фильтров, лимита результатов и охвата проиндексированных источников.

📘 Кредиты за поиск вакансий

Каждая возвращённая вакансия стоит 10 кредитов. Например, 100 вакансий обойдутся в 1 000 кредитов. Перед крупным или регулярным поиском проверьте баланс и актуальные тарифы.

Как отслеживать новые вакансии при повторном поиске

Для регулярного поиска вакансий нужен стабильный ключ сравнения и временной интервал — одного ежедневного запуска недостаточно. Я бы начал с ежедневного поиска за последние семь дней, а затем скорректировал период пересечения с учётом особенностей вашего рынка. Благодаря пересечению запоздавшие объявления получают ещё один шанс попасть в результаты, но одна и та же вакансия может возвращаться несколько раз.

1. Сохраняйте в результатах Job Posting Id, Job Posting URL, Company Website и Date Posted.
2. Сравнивайте каждую новую выборку с предыдущими по Job Posting Id. Используйте настройки уникальных свойств, чтобы запретить повторяющиеся значения, либо проверяйте дубли перед объединением экспортированных данных.
3. Не удаляйте компанию из списка мониторинга. Другой ID вакансии той же компании означает новую позицию, которую стоит проверить, а не дубль компании, который нужно отбросить.
4. Если вам важно знать момент обнаружения вакансии, отдельно фиксируйте его в своём файле мониторинга. Date Posted — это дата публикации, а не время, когда ваш процесс нашёл объявление.
5. Проверяйте вакансии без ID и возможные повторные публикации по названию, компании, местоположению и URL. Разные ID могут относиться к похожим позициям — не объединяйте их автоматически только из-за совпадения названий.

Чтобы настроить автоматический импорт на тарифе Growth, выберите в планировщике источника ежедневную частоту, время и часовой пояс, а затем нажмите Schedule Import. До включения расписания настройте обработку дублей. Поиск также можно повторять вручную. Удаление дублей из сохранённых строк не отменяет оплату результатов, возвращённых поставщиком данных, поэтому учитывайте пересечение периодов в бюджете кредитов.

Например, если каждый из 30 ежедневных поисков возвращает 100 вакансий, вы платите за 3 000 результатов: 30 × 100 × 10 = 30 000 кредитов. Даже если после дедупликации останется 400 уникальных ID вакансий, стоимость поиска всё равно составит 30 000 кредитов. Это лишь пример расчёта — при планировании бюджета на следующий месяц опирайтесь на фактическое количество возвращённых вакансий.

Не делайте вывод, что вакансия закрыта, только потому, что она исчезла из одного поискового результата. Она могла выйти за пределы временного интервала, перестать соответствовать фильтрам или не попасть в установленный лимит. Для проверки закрытых вакансий используйте Job Status и возвращаемое поле Closed At, а важные объявления дополнительно проверяйте на исходных страницах.

Зачем парсить 19 сайтов вакансий

Вы когда-нибудь слышали, чтобы кто-то говорил: «У меня слишком много данных»? Я тоже нет, ведь данные — это золото. Но в одном мы точно согласны: ценность данных неодинакова — одни полезны, а другие не имеют отношения к задаче.

Почему важно использовать больше источников

Парсинг большего числа сайтов вакансий даёт больше объявлений и повышает шансы найти полезные данные. Благодаря широкому охвату вы не упустите ценные возможности, скрытые на разных платформах.

Преимущества парсинга нескольких сайтов

• Больше данных
  • Сравнивайте объявления из разных источников
  • Находите больше возможностей для работы с целевыми компаниями
• Стратегическая бизнес-аналитика
  • Выявляйте компании с актуальными потребностями, о которых сигнализируют открытые вакансии
  • Выбирайте целевые аккаунты с учётом их текущих приоритетов
  • Используйте эти сведения как критерии квалификации в Cold Email кампаниях
• Конкурентные преимущества
  • Быстрее заключайте сделки, если вы работаете в рекрутинге
  • Предоставляйте соискателям более полную аналитику
  • Выявляйте тренды найма раньше конкурентов
  • Получайте более широкий охват рынка, чем при поиске на одном сайте
  • Связывайтесь с потенциальными клиентами на этапе активных инвестиций в рост

Теперь, когда вы понимаете, почему эти данные так полезны, давайте разберёмся, что с ними делать дальше.

Как использовать данные о вакансиях

Да, Datablist отлично подходит для парсинга сайтов вакансий, но это даже не 1% его возможностей. Вот несколько идей, как использовать полученные данные о вакансиях:

1. Обогащать данные компаний дополнительной информацией
2. Использовать AI Agent для поиска данных, которых нет ни в одной базе
3. Находить лиц, принимающих решения, в целевых аккаунтах
4. Находить email-адреса и номера телефонов с помощью Waterfall Enrichment
5. Использовать AI для составления персонализированных писем
6. Анализировать технологический стек компании

Этот список можно продолжать бесконечно. Главное, что Datablist — не просто инструмент для парсинга. Одна доступная подписка открывает доступ к целой экосистеме лидогенерации.

Заключение

Парсинг нескольких сайтов вакансий даёт конкурентное преимущество, которым стоит пользоваться, пока это возможно. Datablist упрощает доступ к данным о вакансиях и позволяет искать открытые позиции даже в компаниях, уже сохранённых в вашей CRM.

FAQ

Как работает парсинг вакансий в этом процессе?

Datablist отправляет запрос с вашими фильтрами в агрегированную базу вакансий поставщика, а затем импортирует подходящие объявления в виде строк. Это удобно для формирования структурированных списков вакансий из разных источников. Сервис не гарантирует наличие каждой вакансии с каждого сайта, поэтому сохраняйте исходные URL и проверяйте объявления перед тем, как использовать их в работе.

Что означает парсинг вакансий?

Парсинг вакансий — это автоматизированный сбор информации об объявлениях с разных сайтов. В процессе извлекаются названия и описания вакансий, сведения о компаниях, местоположение, зарплатные вилки и другие данные.

Какой инструмент для парсинга вакансий лучше?

Datablist — мощный инструмент для парсинга вакансий, который одновременно агрегирует объявления с 19 различных сайтов. Он предлагает расширенные фильтры по параметрам вакансий, сведениям о компаниях и данным нанимающих менеджеров. Помимо парсинга, Datablist поддерживает обогащение данных, поиск с помощью AI и автоматизацию.

Можно ли анализировать вакансии с помощью AI?

Да. После импорта вакансий используйте AI enrichment, чтобы классифицировать описания, выявлять важные требования или составлять краткое резюме для исследования аккаунта. Сохраняйте исходный текст вакансии и URL рядом с результатом, чтобы можно было проверить, какие данные использовала модель. Правила присвоения меток и проверки результатов приведены в руководстве по AI-классификации.

Как использовать данные вакансий в Outbound-кампаниях?

Данные вакансий дают ценную информацию для точечных Outbound-кампаний. Вы можете выявлять активно нанимающие компании, что часто указывает на рост, находить лиц, принимающих решения, обогащать контактные данные и использовать AI для создания персонализированных сообщений с учётом конкретных потребностей. Перед обращением проверяйте актуальность сигнала о найме и связывайте его с подходящим процессом парсинга лидов.

Какие данные можно получить при парсинге вакансий?

Такие инструменты, как Datablist, могут собирать обширный набор данных: сведения о вакансии — название, описание, тип занятости, местоположение и зарплату; информацию о компании — название, сайт, LinkedIn, размер и отрасль; данные нанимающего менеджера — имя, должность и LinkedIn; а также метаданные, например дату публикации. Такой набор служит ценным источником бизнес-аналитики.

Сколько сайтов вакансий нужно парсить?

Парсинг нескольких сайтов даёт значительно лучшие результаты, чем использование одного источника. Такие инструменты, как Datablist, позволяют одновременно собирать данные с 19 сайтов вакансий, обеспечивая широкий охват рынка, больше возможностей для поиска потенциальных клиентов и более полное представление о трендах найма раньше конкурентов.