Как сайты, такие как Hubspot, отслеживают входящие ссылки?

Все эти типы сайтов просто незаконно очищают Google или другую поисковую систему?
Насколько я могу судить, нет «легального» способа получить эти данные для коммерческого сайта. Yahoo! api ( http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html ) предназначен только для некоммерческого использования, Yahoo! Босс не разрешает автоматические запросы и т. Д.
Есть идеи?

12.12.2008 04:50:16
Они могут просто сканировать веб-сайты ... такие сайты, как 80legs.com, делают это проще.
Alex Black 18.07.2010 21:21:52
2 ОТВЕТА

Например, если вы хотите найти все ссылки на главную страницу Google, найдите

link:http://www.google.com

Поэтому, если вы хотите найти все входящие ссылки, вы можете просто просмотреть дерево своего веб-сайта и для каждого найденного элемента создать URL-адрес. Затем запросите у Google:

link:URL

И вы получите коллекцию всех ссылок, которые Google имеет с других сайтов на ваш сайт.

Что касается законности такого сбора урожая, я уверен, что получать прибыль от этого не совсем законно, но это никогда никого не останавливало, не так ли?

(Так что я не стал бы задаваться вопросом, сделали ли они это или нет. Просто предположим, что они делают.)

4
16.04.2009 05:58:09

Я не знаю, что делают hubspot, но, если вы хотите узнать, какие сайты ссылаются на ваш сайт, и у вас нет оборудования для сканирования в Интернете, вы можете контролировать HTTP_REFERER посетителей вашего сайта. сайт. Так, например, Google Analytics (насколько я знаю) может сказать вам, откуда приходят ваши посетители. Это не на 100% надежно, так как не все браузеры устанавливают его, особенно в «режиме конфиденциальности», но вам нужно только один посетитель на ссылку, чтобы знать, что он существует!

Это часто достигается путем встраивания скрипта в каждую из ваших веб-страниц (часто в общий колонтитул). Например, если вы изучите источник для страницы, которую вы сейчас читаете, вы найдете (внизу) скрипт, который сообщает Google информацию о вашем посещении.

Теперь это не скажет вам, есть ли ссылки, которые никто никогда не использовал, чтобы попасть на ваш сайт, но давайте посмотрим правде в глаза, они намного менее интересны, чем те, которые люди фактически используют.

3
15.05.2011 07:34:52
Я думаю, что совершенно верно - глядя на примеры снимков экрана Hubspot, вы можете видеть, что у каждой отслеживаемой входящей ссылки был один посетитель. Для объяснения, данные реферрера могут быть получены из журналов или с помощью чего-то встроенного в ваш сайт.
Arthur Shipkowski 14.05.2011 14:33:43