Grazie per il feedback!
Prezzi e pacchetti
La nostra rete di monitoraggio
Home > Blog
What could we check by using the cloud services? Part 2 (English)

  In the beginning, HostTracker company was founded on the basis of a simple website to provide free customer services. Though, a few years later, this startup developed a wide variety of tools serving to solve various problems, including different network issues. In a series of publications, we have decided to describe thoroughly all the features of our service, also to share our experience in the development of such projects with you and to mention interesting challenges that we faced. 

In the beginning, HostTracker company was founded on the basis of a simple website to provide free customer services. Though, a few years later, this startup developed a wide variety of tools serving to solve various problems, including different network issues. In a series of publications, we have decided to describe thoroughly all the features of our service, also to share our experience in the development of such projects with you and to mention interesting challenges that we faced. Moreover, for those seeking an example of how to sell something that had been made for themselves, our experience would be useful, as most of our features were developed due to our personal needs.

In the previous part of the review we have talked about the history of the service and the most basic functions - regular inspection of sites and servers, and what is more, notification of their efficiency. Before starting to describe more advanced features, we should write where do all these ideas come from and how to prioritize them. One of the key secrets often used by entrepreneurs is to follow the statement: all people are unique. All customers’ requests are unique, so you have to learn how to deal with them. Therefore the IT sector is utterly susceptible to this factor, as a great number of customers have profound knowledge and diverse experience. Nevertheless, part of the problems can be solved with available resources. However, the main feature of our work is that, frequently, we have to evolve something. Most of the HostTracker’s functions were developed or adapted due to the conveniences and needs of the particular people. We are also a part of that people, as having rather large infrastructure, and also need to have everything work properly. Therefore, we ourselves are the most picky client.

Precious little things

It worth noting, that in addition to different regular checks, there are other useful tools. They include monitoring of the domain and SSL certificate expiration time. This seems to be negligible, but could bring a lot of unexpected inconveniences to work. These functions appeared in HostTracker, when one of our personal domains had expired. Moreover, large companies also frequently face these problems, as the prolongation of the domain /certificate expiration time depends on the unreliable human factor. Therefore, a notification that the domain should be prolongated, is stored not only within spam folder (already overflowed with continuous marketing messages from your hosting company), but also to the folder with the data of website downs. As well as, the SMS notification capability still exists. That’s why these features are being so handy.

Another interesting feature is the domain check to see if they are blacklisted in DNS-based lists. These lists are independent and are generated separately using different algorithms. What is more, they were mainly created for filtering of the suspicious entities. Each administrator can configure own web server in different ways, for example, not to receive messages from the servers from a specific list. It helps fight off spam, malware spread, DDoS attacks and other problems. But all of these lists have their own algorithms, and there is no guarantee that in the result of any coincidences your website wouldn’t appear in any of these blacklists. Moreover, according to the statistics, this is happening on a regular basis with the most innocent sites. For example, no one can guarantee that a hacker wouldn’t use your nearby IP for different spam attacks. In this situation, the entire range of IPs would be considered as unreliable. What are the consequences of that?  Your messages wouldn’t be delivered to customers, the site wouldn’t be so easily found in search system and so on. Furthermore, you will find out this problem when the changes become critical or even irrevocable. Therefore, the monitoring and notification of DNSBL are also essential.

The content check

Here is a good example of how the usage of functions may exceed developers expectations. We have mentioned about several such cases earlier. Actually, nowadays a lot of things have a web interface whilst for others – it could be easily created, if needed. Therefore, it was developed not only the check function of whether the page was loaded completely using simple parsing, but also another mind-boggling things of this check. Adapting to different customer requests, this feature has become very flexible. It may look for one or plenty of words from the list at once. Moreover, it may detect the emergence of certain phrases. This feature may also raise as an error the whole line that contains the keyword. For instance, if there is a kind of server-status page (“Server 1 OK” etc.) and it shows “Error”, then the message will be “1 Server Error”.  In this case, all diagnostic is already done, and you can start troubleshooting immediately.

What if it happens, that the server should be down?

In addition to the notification of the failures of the sites, HostTracker provides another important function – gathers statistics of each examined site. When the various buttons on the sites were popular – HostTracker’s button also often appeared with the figures of website attendance, the weather forecasts and other things like that. Now it is possible to use a widget, but still the button is also available for retro fans. In addition, statistics is very important for managers. They constantly want to know whether the website and administration of it are working properly. Therefore, there is another useful function - the maintenance planning. Even the most stable sites and servers must be updated or rebooted from time to time. At the same time, it’s not the desired to lose so-called “9s” in terms of uptime. Planning of the maintenance let us achieve two goals (together or separately). This includes: not to send error notifications and not to record errors to the statistics during a specific span of time. Of course, it seems to be a kind of cheating, but outlined maintenances are justified, especially in excluded time. In addition to this, different verifications have being done and written to the log during maintenances. It can be useful for webmasters and administrators, as log let determine exactly the duration of updating or restarting processes, any occurred errors, other breakages etc. Moreover, thanks to that, the whole process of error emergence could be tracked: from the stage when the server wouldn’t be available for some time to the stage when the application would return an error.

Maintenance can be scheduled as a one-time job or on a regular basis. For example, if the backup is done every night, or a new release - every Thursday. The only condition is that the maintenance schedule should be made up at least 12 hours prior to the site/server nearest suspension period of time. This is done to ensure that all maintenances won’t be responsible for any pity unexpectancies, and statistics provided by HostTracker will be trustful.

A kind of an epilogue

We are frequently asked why we are doing this. The same things could be done without HostTracker’s help.  And you know what - definetely, they could. Especially, if you need only one tool. Many people are talking, that the whole Business World is built on human laziness. By solving routine problems, HostTracker provides a slice of work-free and responsibility-free time in the customer’s schedule. Truly, not everyone is able to assemble a car by himself. We look up to people, who are eager to create something good for personal needs in our field, but most people don’t want to spend their free time for doing something like that.

Additionally, our clients are: non-IT specialists; IT specialists who have to report something to their managers; managers themselves; fans of reliability – they use their own tools and take advantages of someone else’s; and many other groups of people.

All in all, we are always looking forward to your comments.

Як і що можна перевіряти за допомогою хмарних сервісів? Огляд сервісу ХостТрекер. Частина 2 (Українська)

Історія компанії ХостТрекер почалася з простого сайту на базі  ще більш простого скрипту, який надавав безкоштовні послуги всім  бажаючим. Однак сервіс продовжував розвиватись як стартап, і протягом декількох років роботи обзавівся солідним інструментарієм для  вирішення різноманітних проблем людей, які, так чи інакше, мають зв’язок з Мережею. 

Історія компанії ХостТрекер почалася з простого сайту на базі  ще більш простого скрипту, який надавав безкоштовні послуги всім бажаючим. Однак сервіс продовжував розвиватись як стартап, і протягом декількох років роботи обзавівся солідним інструментарієм для вирішення різноманітних проблем людей, які, так чи інакше, мають зв’язок з Мережею. У серії публікацій ми вирішили детально описати функції нашого сервісу, поділитися досвідом розвитку подібних проектів, згадати цікаві завдання, які свого часу постали перед нами. Відзначимо, що найчастіше розробка нових функцій відбувається на основі наших особистих потреб, тому наша історія може ще стати хорошим прикладом для тих, хто бажає «продати те, що зроблено для себе».

 Дійсно вся справа в наборі функцій?

У попередній частині огляду описувалася історія сервісу, а також найбільш базова функція - регулярна перевірка сайтів і серверів, та сповіщення про їх працездатність. Однак, перед тим як почати розповідь про більш потужний інструментарій сервісу ХостТрекер, необхідно розповісти звідки і як взагалі генеруються ідеї і розставляються пріоритети. Один із секретів, про які часто згадують бізнесмени зі сфери послуг, і якому буде присвячено наступні кілька рядків, звучить так: «всі люди унікальні». Всі клієнтські запити індивідуальні і потрібно навчитися адаптуватися до цього. У сфері ІТ ця потреба відчувається особливо гостро - через велику кількість неординарних особистостей і їх різноманітний досвід. Втім, нерідко виходить придумати спосіб, яким вдається вирішити проблему клієнта вже наявними засобами. Проте часто доводиться щось доробляти - і в цьому криється головна особливість подібної діяльності. Багато функцій ХостТрекера були розроблені або адаптовані під потреби і для зручності конкретних людей. У число цих людей входимо і ми - володіючи досить великою інфраструктурою, нам теж необхідно, щоб все справно працювало. Тому ми самі є своїм найбільш вибагливим клієнтом.

Приємні дрібнички

Описуючи регулярні перевірки, бажано відразу звернути вашу увагу на деякі корисні додаткові функції. До них відноситься моніторинг терміну дії домену та SSL сертифікату. Такі, нібито дрібниці, можуть принести величезні незручності в найнесподіваніші часи. Ці функції з'явилися в ХостТрекері, коли, як завжди, раптово «закінчився» один з наших особистих доменів. Але подібні проблеми виникають навіть у великих компаніях, оскільки продовження доменів/сертифікатів завжди впирається в людський фактор, який є дуже ненадійним. Деякі приклади ми зібрали і описали ось тут. Тому повідомлення про те, що домен необхідно продовжити, потрапить не тільки в папку, де міститься спам і де вже прописався ваш хостер завдяки безперервному потоку маркетингових листів, а й в папку, де міститься інформація про несправності вашого сайту (не кажучи вже про можливість СМС сповіщення). І це вкрай корисно.

Іншою цікавою функцією є перевірка доменів в чорних списках DNSBL. Ці списки є незалежними і формуються кожен за власним алгоритмом.  Вони створені, головним чином, для фільтрації підозрілих речей. Кожен адміністратор може налаштувати свій веб-сервер так, щоб, наприклад, не отримувати листи від серверів, які наявні в певному списку. Це допомагає боротися зі спамом, поширенням шкідливого ПЗ, DDoS-атаками та іншими проблемами. Але всі ці списки мають свої власні алгоритми, і немає гарантії, що ваш сайт не опиниться в цих списках випадково. Більш того, статистика показує, що таке регулярно відбувається навіть з найбільш безневинними сайтами. Наприклад, ніхто не дасть гарантію, що на сусідній з вами IP-адресі не пропишеться місцевий Король спаму, внаслідок чого весь діапазон буде занесений до неблагонадійного. До яких наслідків це все може призвести? Листи від вас перестануть надходити клієнтам, сайт стане гірше відображатися в пошукових системах тощо. Однак ви про це дізнаєтеся не відразу, а тоді, коли зміни стануть критичними, а часом, і незворотними. Тому функція контролю та сповіщення про потрапляння в найбільш популярні чорні списки також є досить актуальною.

Перевірка контенту

Ось це може слугувати хорошим прикладом того, як використання функції може перевершити всі очікування і сподівання розробників. Раніше ми згадували декілька подібних випадків. Як ви могли переконатись, на даний момент більшість речей має веб-інтерфейс, а для ще більшої кількості його можна дуже швидко і легко написати. Тому крім основної задумки – перевірки чи завантажилась сторінка повністю (шляхом простого парсинга) – відкрилися ширші можливості цієї функції.

Підлаштовуючись під різних клієнтів, ця функція стала максимально універсальною: може шукати відразу одне або кілька слів зі списку. Або навпаки - реагувати на появу певних фраз. Також може видавати в помилку рядок, в якому міститься ключове слово. Наприклад, багато хто робить сторінку статусів: «Server 1 OK» тощо. Якщо він раптом стане «Error», тоді в повідомленні прийде «Server 1 Error» - вся діагностика вже проведена, можна відразу приступати до усунення.

А якщо так трапиться, що сервер ПОВИНЕН «прилягти»?

Крім сповіщень про падіння сайтів, ХостТрекер виконує ще одну важливу функцію - збирає статистику по кожному з сайтів, які перевіряються. За часів, коли різноманітні кнопки на сайтах були популярні - кнопка ХостТрекера також нерідко з'являлася поруч з показниками відвідуваності, прогнозом погоди тощо.

На даний момент є можливість вставити віджет, хоча кнопка все ще є доступною для фанатів ретро. Крім того, статистика часто є важливим показником для керівництва: чи добре працює сайт і відділ його адміністрування? Тому ще однією корисною функцією є планування технічних робіт. Навіть найстабільніші сайти і сервери повинні час від часу оновлюватися або перезавантажуватися. І при цьому не хочеться втрачати так звані «дев'ятки» в показниках аптайма. Планування технічних робіт дозволяє досягти двох цілей (разом або окремо): не присилати повідомлення про помилки і не записувати помилки під час певного інтервалу часу в статистику.

Звичайно, це все трохи нагадує шахрайство, але запланований простій, тим більше, в неробочий для цільової аудиторії час - цілком може бути виправданий, з нашої точки зору. Проте, під час технічних робіт перевірки так само виконуються і справно записуються в лог, тому можуть бути корисними для вебмайстрів та адміністраторів: лог дозволяє визначити, скільки саме тривало оновлення або перезавантаження; які помилки при цьому видавалися (тобто простежується весь процес: сервер деякий час недоступний, потім повертає помилку додатка, потім іншу помилку і т.д.); що при цьому «гальмувало» найбільше, тощо.

Технічні роботи можна запланувати проводити на регулярній та одноразовій основі. Наприклад, якщо щоночі робиться бекап, або щочетверга - новий реліз. Єдина умова - розклад технічних робіт повинен бути узгоджений та затверджений не пізніше, ніж за 12 годин до найближчої зупинки роботи сайту/сервера. Це зроблено для того, щоб в разі виникнення несподіваних проблем, їх виникнення не пов’язували з проведенням технічних робіт, і статистика ХостТрекеру при цьому залишалася достовірною.

Замість епілогу

Нам часто задають питання - а для чого ви це все робите? Це ж можливо робити і самостійно. Відповідаємо: так, можливо. Особливо, якщо потрібно щось одне. Але справа в тому, що, грубо кажучи, весь бізнес побудований на людській ліні. Більш того, якого ресурсу нам завжди не вистачає? Правильно, часу. Отже, вирішуючи ряд рутинних завдань, ми максимізуємо корисність часу наших клієнтів, по суті, економимо його. Цим ми даруємо додаткові години для вирішення більш суттєвих проблем. Ну і не варто забувати, що не кожен здатний особисто зібрати для себе автомобіль або виростити хліб. Загалом, ми щиро поважаємо людей, які здатні самостійно зробити собі щось хороше в нашій сфері, але практика показує, що далеко не всі готові витрачати на це свій особистий час.

Крім того, нашим сервісом користуються: неайтішники (звичайні користувачі); айтішники, які повинні щось доповідати керівництву; керівництво; шанувальники надійності - і своє зроблю, і чужим скористаюся; та інші категорії людей.

Invia a Twitter Invia a Facebook Invia a LinkedIn
I blog:
HostTracker blog HostTracker page on Facebook