Парсер google-выдачи, бесплатный

Решил поделиться десктопным парсером google, написанным из-за того, что существующие аналоги, которые удалось найти, меня не устраивали или мутно как-то работали. То за ночь работы набирается 100 ссылок, а траффика уходит гиг, то еще что-то.

Этот парсер прост, как трусы по рубль двадцать. И это не только про его возможности (они кстати скромные, ни поддержки прокси, ни антикапчи), а и про интерфейс тоже.

Но на всякий случай расскажу что и куда клацать, чтобы было хорошо :)

 

  • 1 — Запросы к ПС, построчно. Русские символы вводите как есть, программа сама сделает urlencode. Клик правой кнопкой мыши откроет меню с парой плюшек.

  • 2 — Кликните, чтобы к каждому запросу добавить site:TLD, где список этих самых TLD находится в файле zones.txt.

    Нафиг это нужно? Все очень просто, сравним запрос "google parser" с запросом "google parser site:ru"
    В первом случае поисковая выдача будет содержать все найденные сайты, а во втором только сайты в зоне ru.
    Это полезно, если требуется получить более 1000 результатов. В идеале, для каждой доменной зоны можно получить по 1000 ссылок.
    Например, по запросы "парсер google" мы получили только 1000 ссылок.
    А если кликнуть "site:TLD", то сможем получить до 11000 ссылок:
  • 3 — Файл, в который будут сохранены найденные ссылки. Если указанный файл существует, то он будет просто дополнен, а не перезаписан.

  • 4 — Файл, в который будут сохранены найденные домены. Если указанный файл существует, то он будет просто дополнен, а не перезаписан.

  • 5 — Интервал задержек между запросами. Лучше не торопить события и выставив что-то между 20-30, пойти сделать себе чай, бутерброд с колбасой и почитать новости, пока программа будет работать :)

  • 6 — Выпадающий список для управления парсингом - старт, стоп, пауза и продолжить. Содержание списка меняется в зависимости от выполняемой задачи, чтобы отображать только доступные задачи.

  • UPD: Вирустотал ругается на программу из-за упаковки. Поэтому добавил незапакованный вариант:
    google_parser.zip | depositfiles.com | ~2.44 Mb

    ПриложениеРазмер
    google_parser.rar665.82 кб

    Комментарии

    Парсер интересный, но он не может обрабатывать 100 000запросов, т.к. он что-то там анализирует... Свой выбор оставляю все равно на этом парсере. После того как автор убрал функцию проверки на дубликаты - ему цены нет =)

    Огромное спасибо за программу.

    Автор, мне любопытно, ты дальше собираешься продолжать разработку парсера или все на этом заглохло?

    Не вижу смысла его развивать. Я поделился однажды созданным для своих целей инструментом, даже разок его немного доработал по заявкам. Но развивать дальше, ради чего?

    Спасибо Вам большое.
    Часы жизни сэкономили!

    Спасибо дружище!
    Очень помогла прога.

    Во-первых, огромное спасибо за парсер. Подскажите пожалуйста, есть ли возможность ограничить глубину парсинга (допустим топ-3 или первая страница) и использовать другие операторы (inurl допустим)? Если нет, то могли бы Вы доработать это платно?

    Здравствуйте!

    Извините, но совершенно нет времени, чтобы заняться парсером. Возможно, позже добавлю антигейт, но ничего не могу обещать.

    за парсер спасибо тоже, большое,
    e2e4 : inurl intitle почему самому не добавить в тексте, будет работать норм, только гуглом банится, но на это другие есть меры
    Автору спасибо еще раз

    Не пойму, указаk файл сохранения ссылок txt, кликаю старт и вижу - Не заданы фалы для сохранения результатов.

    *указал

    парсит только первые 100 линков к каждому запросу :(

    Спасибо, что написали. Вероятно из-за изменений в оформлении выдачи гугла поломался механизм перехода по ссылкам на другие страницы выдачи. Как будет время посмотрю и перезалью парсер.

    прграмма супер. но нужно добавить прокси или хотябы ввод кепчи...

    А прокси всегда лучше ставит другой программы - я лично ползую крякнутый Proxy Switcher.

    Самый лучший парсер для парсинга урлы каталогов из Гоогле!!!
    Спасибо!
    Как благодарность - список запросов для парсинга каталогов:
    addurl.html
    addasite.html
    addalink.html
    submiturl.html
    submitsite.html
    submitlink.html
    submitaurl.html
    submitasite.html
    submitalink.html
    addurl.html
    add_url.html
    add_site.html
    add_link.html
    add_a_url.html
    add_a_site.html
    add_a_link.html
    submit_url.html
    submit_site.html
    submit_link.html
    submit_a_url.html
    submit_a_site.html
    submit_a_link.html
    ?act=s_add
    add/1
    addurl.htm
    addsite.htm
    addlink.htm
    addaurl.htm
    addasite.htm
    addalink.htm
    submiturl.htm
    submitsite.htm
    submitlink.htm
    submitaurl.htm
    submitasite.htm
    submitalink.htm
    add_url.htm
    add_site.htm
    add_link.htm
    add_a_url.htm
    add_a_site.htm
    add_a_link.htm
    submit_url.htm
    submit_site.htm
    submit_link.htm
    submit_a_url.htm
    submit_a_site.htm
    submit_a_link.htm
    add_url.htm
    add_site.htm
    add_link.htm
    add_a_url.htm
    add_a_site.htm
    add_a_link.htm
    submit_url.htm
    submit_ site.htm
    submit_link.htm
    submit_a_url.htm
    submit_a_site.htm
    submit_a_link.htm
    addlink.html
    addurl.htm
    addsite.htm
    ?act=s_add
    dob?white=1
    add.php
    index.php?action=add
    add?white=1
    index.php?a=add
    add-lnk.cgi?cmd=showform
    index.php?actions=add
    modules.php?name=Web_Links&l_op=AddLink
    index.php?id=add
    ?add=1
    /newurl/
    add_link.php
    index.phtml?A=AddAdv
    addb.php
    ?section=addlink
    ?page=reg
    ?add=1
    addurl.php
    /kat/add.php
    /cat/add.php
    /links/add.php
    ?act=addform
    index.php?adds=1
    addlink.php
    catalog_addp.shtml
    addcatalog.php
    ?act=s_add&cat_id=25
    submit.php
    submit.php?type=links

    Проблем какой то получается... Когда включу региональные опции (TLD)то всегда Гооге банить меня. А включил "регионалки" на такие домены как ru, eu, cn, us, de... Это можно исправит?
    Все таки спасибо за парсера!

    Автор, обновите пожалуйста этот парсер...что б снова с гуглом дружить начал...это самый лучший парсер из всех, которые мне доводилось видить...включая платные версии...

    Обновил, пользуйтесь на здоровье.

    Огромное спасибо автору, за обновление

    Может вопрос звучит тупо и всё же...
    Как программе указать в какой файл сохранять результаты?
    Заранее благодарю!

    Создай файл и укажи

    Как указать файл в который парсер будет сохранять ссылки?

    Отличный бесплатный парсер. Я себе форумов за час напарсил офигенную тучу. Большое спасибо :)

    Автор, можешь дать исходник ?

    Все работает, но смотришь файлы сохранения ссылок и доменов - а они пустые. Как исправить?

    Видимо парсер сейчас неактуален.
    Исправлю, когда будет время.

    А где можно скачать новую версию программы ?? И появится в программе прокси ?

    Скачать можно будет здесь, когда она появится (пока не планирую этим заниматься).
    Поддержки прокси не будет.

    Здравствуйте, если не планируете поддерживать проект. Может выложите исходники ? А то задача актуальна, могу подправить и выслать Вам, Вы уже на сайт выложите.

    Добавить комментарий

    Адрес показан не будет
    CAPTCHA
    Антибот
    Как оформить комментарий?