Отследить изменение интернет страницы web. Альтернативы для замены Page Monitor

Иногда бывает необходимо быть в курсе изменений некоторых WEB страниц произвольных сайтов. Но что делать если сайт не имеет RSS или других видов автоматизированного оповещения об изменениях сайта. В этом случае требуется инструмент который откроет сайт на нужной странице и посмотрит изменилась ли она с предыдущего посещения и если изменилась каким-то образом оповестить заинтересованное лицо.

На самом деле есть несколько разных видов такой услуги.

1. Плагин для Firefox
2. Программа которая запускается и отслеживание нужные сайты
3. Онлайн сервисы которые дают возможность прописать эти страницы и условия контроля и получать оповещения при обнаружении каждого изменения.

1) Плагины FireFox

https://addons.mozilla.org/en-US/firefox/addon/alertbox/
AlertBox 0.4.6.20111013
by Ajit K
Add, manage and track changes in web pages. Get alerts for important changes.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/
Update Scanner 3.1.10
автор sneakypete81
Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

https://addons.mozilla.org/en-us/firefox/addon/sitedelta/
SiteDelta 0.13.1
by Andreas Schierl
Notifies when websites are changed and highlights the changes since last visit.

ВНИМАНИЕ
Были сообщения что Update Scanner и Site Delta установленные и активированные одновременно могут конфликтовать и завешивать браузер.

2) Список программ которые удалось нагуглить выглядит примерно так:
http://aignes.net/ Платный с триалом.
http://www.activeurls.com/ Платный с триалом.
http://www.eldos.org/timelyweb/timelyweb.html Бесплатный
http://www.eyeonweb.com/eowwin.html Платный с триалом.
http://www.cmcode.co.uk/webmon/ Бесплатный
http://www.right-soft.com/webmon/ Платный с триалом.
http://www.xemico.com/newswatch/ Бесплатный с регистрацией, но автор опубликовал код DC8AF-00029-AFAB0
http://www.ykwong.com/chk4new.html Бесплатный

3) WEB сервисы

http://www.ChangeDetection.com/monitor.html Бесплатный
http://feed43.com/ Бесплатный и платный расширенный варианты
http://www.rsspect.com/ Бесплатна урезанная версия.

Для пользователей Linux есть такие инструменты:
http://baruch.ev-en.org/proj/websec/ Бесплатный в исходниках

Базируется на предыдущем но написан на С++ и имеет GUI интерфейс (KDE)
http://www.antbear.org/urlchange/urlprj.html
Проверяет только время на странице а не реальное её содержимое, поэтому применима для немногих сайтов.
Фактически экстрактор интересующих частей страницы. Программа только экспортирует содержимое страницы используя регулярные выражения и не ищет изменения. Далее можно использовать diff. :)
http://lab.madscience.nl/wrep/
Язык для преобразования web страниц во что-то другое. Может быть использован для создания сводной страницы изменений на других сайтах.

Хабрахабр, привет!

Возникала ли у вас когда-нибудь потребность отслеживать появление какой-нибудь информации на сайте, особенно если там нет рассылки новостей и RSS-канала!? Приходилось ли ожидать, когда опубликуют результаты экзамена, новые вакансии, тендеры, обновят прайс.

В нашей компании, занимающейся большую часть времени пенсионно-страховым консалтингом, такая потребность возникает постоянно. При этом тратить время на регулярное посещение сайтов грустно, а найти подходящий инструмент, которому можно было бы поручить такого рода задачу не получалось: либо надо было устанавливать отдельную программу, либо не устраивало отображение результата. Поэтому было решено создать сервис, который бы позволял отслеживать все изменения на сайтах. И не просто отслеживать и получать уведомления об изменениях, но и видеть сами изменения прямо на сайте.

Результатом разработки стал сервис Websvodka.ru , о котором здесь кратко расскажу. Возможно, вам он тоже сможет пригодиться.

Основные функции Websvodka.ru :
- Отслеживание и отображение изменений на веб-страницах.
- Контроль добавления и удаления страниц сайтов (отслеживаются гиперссылки на существующих страницах).
- Оповещение об изменениях результатов по поисковым запросам.
- Отслеживание размеров размещенных в интернете файлов.

1. Изменения на странице
После постановки страницы на контроль можно видеть все происходящие с ней изменения. На скриншоте ниже добавленная фраза выделена зелёным, а удалённая – красным. Контролируемая страница rbc.ru :

Изменения на сайт/posts/software/ :

Кроме того, сервису можно поручить отслеживать случаи появления или исчезновения на странице отдельных слов и словосочетаний.

2. Наблюдение за сайтом
А так выглядит отчет о добавлении и удалении страниц на сайте ixbt.com :

Заинтересовавшие страницы можно открыть в новой вкладке, кликнув изображение глаза, или добавить в список контролируемых, нажав на флажок. Они автоматически появятся в соответствующем разделе.

3. Поисковые запросы
Нажимается кнопка «Добавить», вводится интересующий запрос, и сервис будет показывать выбывшие и новые результаты поиска, а также изменения их позиций в выдаче.

4. Размеры файлов
Добавлять файлы для мониторинга и получать результаты отслеживания можно точно так же, как и для остальных типов контента. Задается ссылка на файл, и сервис будет информировать об изменениях его размера, даты изменений фиксируются.

Рассмотренные четыре возможности по отслеживанию изменений контента сайтов отражают основной имеющийся функционал сервиса Websvodka.ru . Для повышения надежности и скорости работы модули загрузки контента, анализа страниц и хранения результатов функционируют параллельно и размещены на разных серверах. Работа над расширением возможностей продолжается.

Будем рады, если сервис поможет в решении ваших задач!

P.S. Как это работает:
После регистрации на Websvodka.ru и входа в систему (для простого ознакомления с функционалом можно и не регистрироваться, а выбрать режим «Демоверсия», но тогда ваши действия на сайте не будут сохраняться), переходим в раздел «Рабочий стол», выбираем нужную категорию, нажимаем кнопку «Добавить» и вводим адрес того, за чем надо понаблюдать. Далее Websvodka.ru регулярно проверяет интересующий объект и уведомляет вас о его изменениях (можно настроить уведомления по e-mail). Использование основного функционала бесплатно. Сами изменения можно увидеть, войдя в нужную категорию раздела «Рабочий стол».

Distill - это инструмент веб-мониторинга. Он может отслеживать каналы RSS, веб-страницу или часть веб-страницы. Могут быть получены оповещения в виде всплывающих окон, аудио или электронной почты.

Бесплатная (с ограничениями) Mac Windows Linux Android Chrome Opera Firefox

Что в этом списке?

В списке находится программы которые можно использовать для замены Page Monitor на платформах Интернет, Chrome, Chrome OS. Этот список содержит 12 приложений, похожих на Page Monitor.

Если рассмотреть причины, по которым сайты резко начинают терять трафик, то их можно разделить на 3 основные группы: алгоритмические, внутренние и внешние. К первым относится изменение алгоритмов поисковых систем, на которые мы не можем повлиять. На все остальные причины мы осознанно или неосознанно влияем. И если с осознанным влиянием все более-менее понятно, тут все зависит от степени осведомленности и здравомыслия оптимизатора, то серьезной проблемой является незнание, что там происходит с сайтом.

Один из примеров: мой заброшенный сайт взломали и разместили вредоносный код, позже подтвердили права на домен в панелях для вебмастеров и загнали в индекс кучу спамных страниц. Узнал я об этом только из уведомления панели, когда Google прислал сообщение “вы предоставили доступ к сайту…”. Понятное дело, что трафик из поиска на сайт пропал из-за снижения доверия. Если бы я мог быстро отследить изменения в коде страниц, то среагировал бы оперативней. В моем случае сайт был заброшен, но у многих живых сайтов происходят аналогичные ситуации со взломом и бизнес может терпеть большой ущерб.

Есть много других примеров, когда над сайтом работает команда и один человек из команды не всегда знает, что делает второй. И еще интересней, когда все изменения в коде затираются после обновления CMS . Так было с моими знакомыми, которые больше года не могли выпустить новую версию сайта, так как закрытые таски переоткрывались после очередных обновлений и правок (делали одно, другое ломалось и наоборот). И здесь хорошо, когда в тестовом режиме можно все это узнать, но что делать, когда вы уже выкатили проект в паблик и через неделю автоматом в целях безопасности обновили CMS или какой-то плагин?

Ответ очевиден - необходимо мониторить изменения на сайте. Особенно это актуально для больших проектов, и особенно там, где над проектами работает несколько человек. Хотя, я рекомендую всем это делать. Хотя бы изредка, чтобы застраховать себя от разных несчастных случаев. С помощью мониторинга вы сможете вовремя отреагировать на ненужные (или слетевшие) изменения на сайте, плюс сможете лучше понимать причины резких изменений позиций сайта или его отдельных страниц.

Что именно мониторить?

В идеале нужно мониторить всё 🙂 но возникает много нюансов для сайтов с динамическим контентом, поэтому лучше сконцентрировать внимание на важных участках:

• Тег TITLE и H1
• Мета-тег description
• Выделенные участки контента
• HTTP код статуса
• Файл robots.txt

Полезно будет также отслеживать мета-тег robots и канонические ссылки (rel canonical).

Можно ли это автоматизировать и как?

Постоянно отслеживать изменения вручную это неблагодарное занятие. Мониторинг необходимо автоматизировать, и смотреть в отчеты лишь тогда, когда один из отслеживаемых параметров изменяется.

Для автоматизации этого процесса имеется несколько инструментов. Один из них свежий, от компании Mail.ru - SeoSan . Плюсы в том, что сервис бесплатный, помимо мета-тегов отслеживает изменения файла robots.txt. Минусы в ограничениях на количество страниц (максимум можно добавить 50 страниц), и вы не можете мониторить сайты, владение которыми не подтвердите. А хотелось бы отслеживать изменения и конкурентов в том числе.

Хабрахабр, привет!

Возникала ли у вас когда-нибудь потребность отслеживать появление какой-нибудь информации на сайте, особенно если там нет рассылки новостей и RSS-канала!? Приходилось ли ожидать, когда опубликуют результаты экзамена, новые вакансии, тендеры, обновят прайс.

В нашей компании, занимающейся большую часть времени пенсионно-страховым консалтингом, такая потребность возникает постоянно. При этом тратить время на регулярное посещение сайтов грустно, а найти подходящий инструмент, которому можно было бы поручить такого рода задачу не получалось: либо надо было устанавливать отдельную программу, либо не устраивало отображение результата. Поэтому было решено создать сервис, который бы позволял отслеживать все изменения на сайтах. И не просто отслеживать и получать уведомления об изменениях, но и видеть сами изменения прямо на сайте.

Результатом разработки стал сервис Websvodka.ru , о котором здесь кратко расскажу. Возможно, вам он тоже сможет пригодиться.

Основные функции Websvodka.ru :
- Отслеживание и отображение изменений на веб-страницах.
- Контроль добавления и удаления страниц сайтов (отслеживаются гиперссылки на существующих страницах).
- Оповещение об изменениях результатов по поисковым запросам.
- Отслеживание размеров размещенных в интернете файлов.

1. Изменения на странице
После постановки страницы на контроль можно видеть все происходящие с ней изменения. На скриншоте ниже добавленная фраза выделена зелёным, а удалённая – красным. Контролируемая страница rbc.ru :

Изменения на habrahabr.ru/posts/software/ :

Кроме того, сервису можно поручить отслеживать случаи появления или исчезновения на странице отдельных слов и словосочетаний.

2. Наблюдение за сайтом
А так выглядит отчет о добавлении и удалении страниц на сайте ixbt.com :

Заинтересовавшие страницы можно открыть в новой вкладке, кликнув изображение глаза, или добавить в список контролируемых, нажав на флажок. Они автоматически появятся в соответствующем разделе.

3. Поисковые запросы
Нажимается кнопка «Добавить», вводится интересующий запрос, и сервис будет показывать выбывшие и новые результаты поиска, а также изменения их позиций в выдаче.

4. Размеры файлов
Добавлять файлы для мониторинга и получать результаты отслеживания можно точно так же, как и для остальных типов контента. Задается ссылка на файл, и сервис будет информировать об изменениях его размера, даты изменений фиксируются.

Рассмотренные четыре возможности по отслеживанию изменений контента сайтов отражают основной имеющийся функционал сервиса Websvodka.ru . Для повышения надежности и скорости работы модули загрузки контента, анализа страниц и хранения результатов функционируют параллельно и размещены на разных серверах. Работа над расширением возможностей продолжается.

Будем рады, если сервис поможет в решении ваших задач!

P.S. Как это работает:
После регистрации на Websvodka.ru и входа в систему (для простого ознакомления с функционалом можно и не регистрироваться, а выбрать режим «Демоверсия», но тогда ваши действия на сайте не будут сохраняться), переходим в раздел «Рабочий стол», выбираем нужную категорию, нажимаем кнопку «Добавить» и вводим адрес того, за чем надо понаблюдать. Далее Websvodka.ru регулярно проверяет интересующий объект и уведомляет вас о его изменениях (можно настроить уведомления по e-mail). Использование основного функционала бесплатно. Сами изменения можно увидеть, войдя в нужную категорию раздела «Рабочий стол».