Grazie per il feedback!
Prezzi e pacchetti
La nostra rete di monitoraggio
Home > Blog
Why do we need monitoring? The overview of the HostTracker service. Part 1 (English)

Why there is a need in monitoring? How the monitoring could help in the sites and servers development and testing? This review will answer to these questions and will also show how the simple desire to optimize your work may be transformed into a useful product for others, as well as, how not to lose the ‘startup spirit’ and always keep up with your clients.

HostTracker Company is one of the market leaders in the supplying of monitoring services for sites and various web services. It teems with a wealth of different constantly improved tools, which are taking into accounts the most recent tendencies and trends. How did this company emerge? Why there is a need in monitoring? How the monitoring could help in the sites and servers development and testing? This review will answer to these questions and will also show how the simple desire to optimize your work may be transformed into a useful product for others, as well as, how not to lose the ‘startup spirit’ and always keep up with your clients.

Introduction or the history of startup

Everyone involved in the IT sector must know the feeling, when a server (website, database, software, network) seems to be perfectly configured, but it suddenly stops to work properly. Solving this problem could take a lot of time. Meanwhile, this mess would go on, take place regularly or wouldn’t happen at all – but, nevertheless, that’s the worst, as it wouldn’t be clear when it shows up another time. Moreover, what if this happens during handover the project to the client? Pondering over all these things caused HostTracker to appear.

A founder had always tried to make his work on objects as brilliant as he could at his main job, so he decided to automatize the process of monitoring. If at that time (at the beginning of 2000), there were reliably working monitoring services – possibly, HostTracker would never have appeared. Therefore, he had to write a simple script to check his bulk of sites. However, the script faced the same problems that were mentioned at the beginning of this paragraph. From time to time, the script didn’t work at all or didn’t work properly.

So, that’s why, we had to optimize the script a little and make it more reliable, as well as, through the duplication and distribution it on several machines. After a series of optimizations the idea crossed our minds that it could be useful for someone else, and HostTracker became public. With the advent of a variety of clients – we decided to monetize the efforts. As you can see, our service appeared to solve personal problems, but during the process of development has become available to others to help them solve the same problems, which, at one time, we faced.

Monitoring: the main points

This part of the review contains information about the most popular feature - regular check of the site or other entity available from the network for immediate identification of emerging problems. These checks can be run on different protocols: http (s), icmp (aka Ping), port (check any port over TCP) etc. It is worth noting, that there are different approaches to monitoring. There is an internal monitoring - when the state of the site is estimated by the software hosted on the same server. To put it tentatively, there may be included such tools like Google Analytics– built in the page script sends information about customers who entered the site, and can make indirect conclusions about the site performance. The other type of monitoring - external, or, as lawyers say, "monitoring by a third party." It is embodied in simulating the logging in of real users with real addresses to the site, and making conclusions on the real server replies to the sent requests. Further we will talk about this method in the review.

Infrastructure or how it works

For easier understanding, the infrastructure can be divided into two components: the "internal" and "external". The “internal” is placed in the cloud and consists of computing servers, databases, file servers etc. All of these components belong to HostTracker and are operated directly by HostTracker employees. The “external” component - nodes or agents, which are placed around the world and serve as independent servers inspectors, similarly to "Secret shoppers" at the stores. They are testing the sites and other entities by creating the standard requests for checking protocol. If it is a web site test, then it will be the usual http requests and there will be no difference between these requests and requests of real visitors.

These servers are completely independent from each other and from internal system structure. Everything what they do – receive a list of sites for checking from the central server and give it back the check results. Some of these servers are being rented by the HostTracker, whilst the majority of them belongs to the partners. These partners are providing them for free or with a significant discount, in return for backlinks or discounts for our services, or just due to friendship relationship.

This kind of infrastructure allocation is a result of monitoring service performance algorithm.

The service performance algorithm

Regular checks are being done due to the client’s predefined interval, beginning from one minute. When it comes to testing, the server sends the task to one randomly selected agent – a part of the external HostTracker network. It is performing checks by a given protocol, and sending back the response of the checking server. These results are being processed on the “external” side. If it happens to have a positive response - nothing happens, there will be only a record in the database about this (it is available to the client in a form of an inspections log). If an error has been noticed, then tasks are immediately created to verify, again, this site by other randomly selected servers from the general network. After that, the answers from all these servers will be analyzed.

If the error hasn’t been confirmed by the majority of servers - it remains in the log and there is no reason to worry. Apparently, anything can happen: the network lag, requests overload and everything. If most or all of the agents do confirm an error - then it is assumed, that the trouble occurred and there is a serious problem – likely, at that time, a lot of people can’t get to the site. Moreover, almost all commercial sites will suffer from a great loss of money in this situation.

Error handling and clients notification

According to the settings, after identifying the problems, a lot of different things can also happen. The problem initial diagnostics is being done at once. If there is any error, the code of this error is recorded, otherwise there will be a record of the protocol response. This data can be used for detecting the reasons of the error, for example, network failure, server failure etc. However, first and foremost, the client is interested in getting to know about the problem. So, if you want to be aware of any errors at any time, you should register your phone number, e-mail or other communication channel to receive notifications from HostTracker.

These notifications may be sent to different people, with different contacts and at any time. Truly, a lot of interesting features are there to offer. The message can be sent immediately, which is done the most frequently. Although, that’s not enough for the particular customer to be satisfied. Firstly, the "unimportant" sites do exist and it would be inappropriate to wake administrator up because of the short-term downtime. Secondly, there are "important" people, that shouldn’t be bothered because of different insignificant problems. Therefore, HostTracker offers a feature of the alerts escalation. As well as, HostTracker would send a notification to a specific address after some time of the site’s fall, if it didn’t recover by itself.

Moreover, you can create "work schedule" for each contract - set the time interval during which, it is possible to send alerts. So, HostTracker wouldn’t disturb this person at other time. It happens to be very useful for some customers. For instance, this configuration will send an alert to the particular person between 8:00 am. and 7:00 pm., in case the site has been “off” for one or more hours:

We will describe a wide variety of other service functions in the next reviews. Also, you will find all histories of their emergence and development, the examples of their usage and other things from our own experience. It is worth noting, that one of the main advantages of the service is the orientation to clients. Many service functions have been invented due to clients, friends and partners requests, enabling them to solve their specific technical problems, the solution of which on their own would require a lot more resources. Therefore, we’re looking forward to your feedbacks and suggestions!

Мониторинг - для чего он нужен? Обзор сервиса Host-Tracker. Часть 1 (Русский)

В данном обзоре вы найдете ответы на следующие вопросы: что такое мониторинг доступности сайтов и с чем его едят? Что стало причиной возникновения компании ХостТрекер? Алгоритмы работы сервиса и как все устроено. Обнаружение, обработка и уведомление клиента о проблеме с его сайтом.

На сегодняшний день ХостТрекер входит в когорту лидеров на рынке компаний, которые предоставляют услуги мониторинга. Пытаясь развиваться в ногу со всеми современными ИТ тенденциями и трендами, эта компания обладает наиболее современными инструментами и функционалом. Итак, в данном обзоре вы найдете ответы на следующие вопросы: что такое мониторинг и с чем его едят, что стало причиной возникновения компании ХостТрекер, как простая идея может превратиться в реально успешный стартап, а также как не сломаться на пути становления вашего стартапа?

Как всё начиналось

Каждый день программисты по всему миру сталкиваются с проблемой неожиданного отказа в работе якобы идеально настроенных серверов (сайтов, сетей и т.п.). Они тратят кучу времени на поиск решения этой проблемы и в конце концов, эта проблема все равно может появляться периодически. Более того, она может исчезнуть, а потом неожиданно появиться снова, таким образом испортив, например, передачу проекта клиенту. Именно для решения такого рода проблем и появился ХостТрекер. Основатель проекта всегда пытался сделать свои работы уникальными и наиболее эффективными. В начале 2000 не было надежного мониторингового сервиса, поэтому приходилось что-то генерировать самому. Сначала был изобретен простенький скрипт для проверки своих сайтов. Однако он мог иногда не работать вообще, либо отрабатывать некорректно. Поэтому было решено, распределить и продублировать его на несколько машин, то есть сделать своего рода оптимизацию. А дальше, после ряда оптимизаций, мы поняли, что наш продукт может пригодиться другим, именно так ХостТрекер стал доступным для других пользователей. Мы прошли долгий путь, от простенького скрипта до мощного функционала, который помогает теперь нашим клиентам решать их проблемы.

Что же такое мониторинг?

В данной части обзора вы познакомитесь с такой популярной функцией, как функция быстрой проверки сайтов или других сетевых инструментов для своевременного выявления всех существующих проблем. Эти проверки используют различные протоколы (http(s), icmp и т.д.). Условно мониторинг делиться на внутренний и внешний. Во внутреннем главное это ПО и он оценивается именно по нём. К этому типу можно отнести Яндекс. Метрику. Яндекс. Метрика использует встроенный скрипт в страницу, который позволяет оценить количество юзеров, зашедших на сайт и сделать соответствующие выводы, используя эти данные. В свою очередь, внешний или «мониторинг третьей стороной» заключается в симуляции захода пользователями на сайт из реальных адресов и делает умозаключения на основе откликов серверов на соответствующие запросы. Подробнее о внешнем мониторинге мы поговорим далее в данной статье.

Как всё устроено

Инфраструктура состоит из двух частей: внутренней и внешней, согласно алгоритму работы сервиса мониторинга. Внутренняя размещается в облаке. В ее состав входят серверы, файловые хранилища и т.д. ХостТрекер полностью владеет и занимается поддержкой внутренней части. Внешняя, в свою очередь, состоит из агентов, это своего рода независимые инспекторы (серверы), которые осуществляют проверку серверов. Диагностика осуществляется посредством генерации стандартных запросов для выбранного протокола (например, для вебсайта это http запросы).

Эти инспекторы независимы друг от друга, а также от внутренней части. В своей работе они полагаются на работу центрального сервера, то есть принимают перечень от него сайтов для экзаменации и отдают ему, соответственно, результаты этих проверок. Большое множество серверов является собственностью наших партнеров, но частью ХостТрекер владеет самостоятельно. Чаще всего партнеры выдают доступ к своим серверам бесплатно или со значительным дискантом, в свою очередь, они ожидают отдачи с нашей стороны, то есть обратные ссылки или дисканты на наш сервис.

Алгоритм сервиса

Клиент заблаговременно определяет интервалы регулярных проверок (>= 1 мин). Когда наступает время диагностики, сервер направляет задание на один случайным образом определенный агент ХостТрекера. Он делает диагностику по выбранному протоколу и посылает обратно отклик сервера.

Если все хорошо, проблем нет - в базе будет просто лог проверок, иначе, ежели была замечена ошибка, - генерируются таски для проверки этого же сайта другими, взятыми произвольно, серверами. В этом случае, если ошибка не засвидетельствована большинством или всеми - то, действительно, вероятно, это серьезное дело, и сайт сейчас недоступен. А это уже серьезная угроза для прибыли компаний.

Обработка проблем и уведомление потребителя о них

Может происходить много плохих вещей, так как установки у каждого разные. Поэтому моментально запускается начальная проверка предмета внимания: регистрируется код имеющейся ошибки или ответ протокола. На основе этих данных делается вывод о причине проблемы (сбой сети, ошибка сервера и т.д.). Однако, первым делом, потребителю интересно существует ли вообще проблема. Именно в связи с этим существует возможность зарегистрировать свою почту, телефон или другие каналы связи, чтобы получать уведомления от ХостТрекера. Эти уведомления могут быть отосланы различным людям, на любые адреса, в любое время. Однако, для «требовательного» потребитель этого недостаточно и требуется другой подход.

Во-первых, есть «неважные» сайты и, соответственно, если на них наблюдается краткосрочный простой, не красиво будет будить админа на счет этого. Поэтому ХостТрекер позволяет подключить функцию эскалации уведомлений, которая отправляет извещения не сразу после падения, а только в том случае, если сайт не смог восстановить свою работу самостоятельно. Также пользователям предоставляется шанс точно указывать время, когда они хотят принимать эти уведомления, то есть создавать некий «рабочий график». Например, пользователь может задать рабочие годы с 8 до 19, в таком случае ему будет направляться уведомления только тогда, когда сайт будет недоступен час и более.

В следующих статьях мы познакомим вас с другим функционалом сервиса, а также с историей его разработки и возникновения, как его можно применять в современных условиях и т.п. Наш продукт ориентирован на клиента, а потому большинство функционала было разработано согласно запросам и рекомендациям клиентов и партнеров для улучшения их работы. Поэтому, не стесняйтесь, пишите, мы всегда открыты для новых идей и советов.

Що таке моніторинг і для чого він потрібен? Огляд сервісу ХостТрекеру. Частина 1 (Українська)

Чому існує така необхідність в моніторингу доступності сайтів і як він може стати у нагоді при тестуванні сайтів і серверів? Цей огляд дає вам відповіді на ці всі запитання, а також можливість переконатись, як просте бажання оптимізувати свою роботу, може перетворитися на корисний для інших продукт. Більш того, ви дізнаєтесь як не втратити дух стартаперства в сучасних умовах і завжди бути на одній хвилі зі своїми клієнтами.

Однією з лідерів на ринку серед компаній, які надають послуги моніторингу, є компанія ХостТрекер. Намагаючись йти в ногу зі всіма сучасними тенденціями і трендами, компанія володіє більшістю сучасних інструментів, які вона постійно удосконалює.

Як цю компанію заснували? Чому існує така необхідність в моніторингу і як він може стати у нагоді при тестуванні сайтів і серверів? Цей огляд дає вам відповіді на ці всі запитання, а також можливість переконатись, як просте бажання оптимізувати свою роботу, може перетворитися на корисний для інших продукт. Більш того, ви дізнаєтесь як не втратити дух стартаперства в сучасних умовах і завжди бути на одній хвилі зі своїми клієнтами.

Вступ та історія стартапу

Кожний програміст хоч раз стикався у своїй роботі з проблемою неочікуваної відмови у роботі нібито ідеально налаштованих серверів (сайтів, баз, програм, мереж тощо). На пошук цієї проблеми може бути витрачено багато часу. Протягом цього періоду, ця проблема може з'являтися постійно, періодично або зникнути зовсім, останнє найгірше – ви не зможете передбачити, коли вона нагадає про себе знову, а якщо саме в момент передачі проекта клієнту? Для того, щоб уникнути таких моментів і з'явився ХостТрекер. Засновник проекту завжди вирізнявся прискіпливістю до деталей і намагався оптимізувати роботу об'єктів основного свого виду діяльності якнайкраще. Звичайно, якщо б на той момент (початок 2000) існували надійні моніторингові сервіси, напевно, ХостТрекер ніколи б і не з'явився. Однак, в той час була така необхідність. Спершу виникла ідея написати простенький скрипт для перевірки своїх сайтів, але в нього виникла та ж проблема, описана раніше. Частенько бувало, що він не працював взагалі або відпрацьовував некоректно. Тому було вирішено оптимізувати цей скрипт, шляхом дублювання і розподілу на декілька машин. Після ряду оптимізацій, прийшли до висновку, що це може бути корисним для інших і так ХостТрекер «вийшов з тіні». Між іншим, з появою великої кількості клієнтів, з'явилася можливість отримувати дохід від цього сервісу. Отже, як ви могли переконатись, цей проект з'явився для вирішення власних проблем, але, в кінці кінців, переріс в сервіс, який, на разі, має на меті допомагати іншим у вирішенні їхніх проблем, аналогічних до тих, які свого часу постали перед нами. Адже, дійсно, не у всіх є час написати маленький скрипт, потім його ще трішки дописати, оптимізувати і т.д.

Моніторинг та його суть

Ця частина огляду дає вам можливість познайомитися з найбільш популярною функцією – регулярною перевіркою для швидкого і своєчасного виявлення існуючих на даний момент проблем із сайтом або іншим мережевим інструментом. Ці перевірки можуть працювати згідно різних протоколів, наприклад, http(s), icmp (пінг), port (перевірка будь-якого порту по протоколу TCP) тощо. Існує два типи моніторингу: внутрішній і зовнішній. Внутрішній – це коли стан сайту оцінюється за рахунок ПЗ, яке розміщено на цьому ж сервері. До цього типу можна віднести, наприклад, Google Analytics або Яндекс.Метрику, в ній вбудований в код сторінки скрипт відсилає інформацію про клієнтів, які зайшли на сайт, і має можливість робити непрямі висновки про працездатність сайту. В свою чергу, зовнішній (юрид. «моніторинг третьою стороною») – полягає в імітації заходження на сайт користувачів з реальних адрес, і робить висновки по, відповідно, реальним відповідям серверів на відправлені запити. Далі мова йтиме про нього.

Інфраструктура або яким чином це все побудовано

Інфраструктуру можна умовно поділити на дві частини: внутрішню і зовнішню. Внутрішня розміщена в хмарі, складається з обчислювальних серверів, баз даних, файлових сховищ тощо, та належить співробітникам ХостТрекера, які здійснюють моніторинг та управління цими системами. Зовнішня – складається з нодів (агентів), які розташовані по всьому світі і здійснюють незалежну перевірку серверів, аналогічно до «таємних покупців» в магазинах. Перевірка здійснюється за рахунок створення стандартних запитів для протокола, який перевіряється. Наприклад, якщо це перевірка веб-сайту, то генеруються стандартні http запити, які нічим не відрізняються від запитів реальних користувачів. Ці сервери є повністю незалежними один від одного і від внутрішньої складової системи. Основне, що вони роблять – отримують від центрального сервера перелік сайтів для перевірки  і віддають результати цих перевірок. Частину цих серверів орендує ХостТрекер, але більшість належить партнерам, які надають їх безкоштовно або зі значною знижкою у відповідь на зворотні посилання або знижки на наші послуги, або просто по дружбі.

Такий розподіл інфраструктури обумовлено алгоритмом роботи сервісу моніторингу.

Алгоритм роботи сервісу

Клієнт завчасно визначає інтервали регулярних перевірок (починаючи з 1 хв). Коли настає час перевірки, сервер посилає завдання на один, випадково обраний, агент, який є частиною зовнішньої мережі ХостТрекера. Він робить перевірку по обраному протоколу і посилає у відповідь сервера, який перевіряє. Якщо відповідь позитивна – з'являється просто запис у базі (лог перевірки), інакше, у випадку, коли була помічена помилка, - створюються таски по перевірці цього ж сайту іншими серверами, знову таки обраними навмання з загальної мережі. В цьому випадку аналізуються відповіді всіх цих серверів. Якщо ж помилка не підтверджена більшістю або всіма – то, дійсно, ми маємо справу з серйозною проблемою і, скоріш за все, в цей момент більшість людей не можуть потрапити на сайт. А це вже серйозна загроза для прибутку компаній.

Обробка помилок та сповіщення клієнтів про них

Відповідно до ваших налаштувань, можуть виникати різні проблеми. Тому зразу ж відбувається первинна діагностика проблеми: записується код наявної помилки або відповідь протоколу. На основі цих даних робиться висновок про причини помилки (збій мережі, помилка сервера тощо). Однак, першочергово клієнт зацікавлений в тому, щоб взагалі дізнатися про те, що помилка існує. Саме для цього й існує можливість зареєструвати свою електронну адресу, телефон або інші канали зв'язку, щоб отримувати сповіщення від ХостТрекера. Ці сповіщення можуть бути надіслані різним людям, на різні адреси, в різний час. Однак, в наш час цього недостатньо, «вимогливий» клієнт вимагає іншого підходу.

По перше, є «неважливі» сайти і, відповідно, якщо на них спостерігається короткостроковий простій, не хотілося б будити адміністратора на рахунок цього. Тому ХостТрекер надає можливість підключити функцію ескалації сповіщень, яка надсилатиме сповіщення лише тільки через певний час після падіння, і лише в тому випадку, якщо сайт не зміг поновити свою роботу самостійно. Також користувачам надається можливість точно вказувати час, коли вони хочуть приймати ці сповіщення, тобто створювати певний «робочий графік». Наприклад, користувач може задати робочі годи з 8 до 19, в такому випадку йому буде надсилатися сповіщення лише тоді, коли сайт буде недоступний годину і більше.

В наступних публікаціях ми познайомимо вас з іншим функціоналом сервісу, а також з історією його розробки і виникнення, як його можна застосовувати в сучасних умовах тощо. Наш продукт орієнтований на клієнта, а тому більшість функціоналу було розроблено згідно запитів і рекомендацій клієнтів та партнерів для покращення їхньої роботи. Тому, не соромтесь, пишіть, ми завжди відкриті для нових ідей та порад.

Invia a Twitter Invia a Facebook Invia a LinkedIn
I blog:
HostTracker blog HostTracker page on Facebook