Article 'database_monitoring' in other languages

We’re happy to introduce our newest monitoring feature - Database Check – that is easy to use, crystal-clear to understand and designed to get you through your website ‘critical hours’ as smoothly as possible.

There is a wealth of different collector services for gathering and analyzing performance information from, for example, the number of visitors, disk usage to the duration of a database session and geographical distribution of the audience that visits the website. In the real world, it is very common to find two or more of these metrics presented together. Anyway, the problem is that you should not only assess these numbers but also somehow examine and compare them.

All that made HostTracker team eventually develop a Database Check – a perfect tool for deep database monitoring and successful troubleshooting database performance problems.

Task Configuration Concepts

Generally speaking, adding a new Database Check won't take long to set up. Once it is enabled, you’ll get the chance to adjust the check to suit your overall strategy. Now let’s look at some of the available options to better understand how they can be effectively applied.

First and foremost, this feature has an option to include a specific database query every time you run the check, whilst still having the opportunity to manage the processing data. If you don’t want to specify any query – the service will verify the ability to connect to the database. In addition, the Database Check tool supports a deferred execution option, which allows you to specify the point of query declaration and track its results.

Besides that, you can use any command - from a simple Select statement to a more complex procedure, - as a database query. However, the specified request should be executed in 30 seconds or less, otherwise, the error message will be generated. Basically, you’ll get the 408 Request Timeout or related error.

Please note: When enabling a new DB monitoring check, there are a couple of things to consider. Use an SQL statement that returns a single value. Furthermore, this value should be returned in the first column of the first row. This step is vital for further performance analysis of the monitored system.  

At the same time, in case of using a DML command as a statement, you’ll also get the total number of rows being affected.

The following example shows the graphical interpretation of the results from executing DELETE statement, according to the specified condition:

For the record, the collected results are not only displayed in a real-time graph, but also stored for later analysis. Besides, such a solution can really help to get valuable insights into how to optimize your database performance.

Moreover, at this stage, you can specify the type of selection criteria. You can choose from no, equal/not equal, greater/less than, in/out of range.

Once the system finds some deviation in records from the expected results - you will receive a notification. To boot, you can control which events you want to receive alerts for and which ways (Skype, Viber, Telegram, Slack etc.).

First Steps In Starting Successful Performance Troubleshooting

This example shows how to create a check for both tracking the growth of all the database log and data files and getting alerts when critical database size is reached. It implies, the following example contains information about the file data/log file size, the total space used, free space details etc. So what you need to do:

1. Create a new query that displays how much free space you have in your tablespace.

          SELECT
          convert(DECIMAL(12,2),round(sysfile.size/128.000,2)) AS 'FileSize/mb'
          , convert(DECIMAL(12,2),round(fileproperty(sysfile.name,'SpaceUsed')/128.000,2))
          AS 'Used/mb'
          , convert(DECIMAL(12,2),round((sysfile.size-fileproperty(sysfile.name,'SpaceUsed'))/128.000,2))
          AS 'Free/mb'
          , filegroup.groupname AS 'File-group'
          , sysfile.[name],sysfile.[filename]
          FROM dbo.sysfiles sysfile (NOLOCK)
          inner join dbo.sysfilegroups filegroup (NOLOCK) ON filegroup.groupid =
          sysfile.groupid
          UNION ALL 
          SELECT
          convert(DECIMAL(12,2),round(sysfile.size/128.000,2)) AS 'FileSize/mb'
          , convert(DECIMAL(12,2),round(fileproperty(sysfile.name,'SpaceUsed')/128.000,2))
          AS 'Used/mb'
          , convert(DECIMAL(12,2),round((sysfile.size-fileproperty(sysfile.name,'SpaceUsed'))/128.000,2))
         AS 'Free/mb'
         , (CASE WHEN sysfile.groupid = 0 THEN 'Log' END) AS 'File-group'
         , sysfile.[name],sysfile.[filename]
         FROM dbo.sysfiles sysfile (NOLOCK) WHERE groupid = 0
         ORDER BY [File-group],sysfile.[name]         

      2.  After execution, you should get the following results:

     3.  Add a condition of selection:

• Query result - select "value in the first column of the first row (mainly for SELECT)".
• Result verification - choose "less than" and add "1000"  as the max value.

Finally, you’ll get the following result once all the previous stages have been successfully completed: if the log file size exceeds 1 GB, you’ll receive a notification.

Please keep in mind all data collection history information is saved and always available to view. It means you can easily identify the cause of this or that problems, for instance, the reason for rapid tablespace growth.

Adding a New Database Monitoring Task

To activate a new Database Check you need:

      1.  Fill in the following fields:

• Server – enter your server name;

• Port -  add your port number;

• Database – add your database name;

• User ID- enter the login name under which the check should be executed;

• Password – add the password that corresponds to your login.

For this task only, it is recommended to create a new user account with limited rights.

       2.  Provide access to your database. For this, add the IP addresses of the HostTracker agents to a Firewall Whitelist and your server list.

Note that, the IP addresses of our agents are permanent.

       3.  When ready, click on Save.

If you have any questions about this feature, well, just send us a message. We’re always ready to help!

В данной статье мы бы хотели познакомить вас с еще одной интересной и полезной функцией нашего сервиса - Проверка баз данных (БД).

Существует много различных сервисов для сбора и анализа информации о работе ресурса, например, количестве посетителей, продолжительности сессий, распределении аудитории по регионам и т.п. Но при работе с данными возникает потребность в сравнении таких вот «технических» характеристик.

Именно для получения и оценки таких параметров, команда-разработчиков и аналитиков ХостТрекера разработала простой для понимания и использования инструмент - Проверка БД.

Настройка запроса

Как правило, настройка запроса не занимает много времени. С функцией Проверка БД можно каждый раз использовать разнообразные инструкции, легко при этом получая результаты выполнения  запросов к базе и соответствующим образом их обрабатывая. В случае, если инструкция не указана – система будет просто проверять возможность установить соединение с базой данных. Также инструмент позволяет указать максимальную задержку выполнения запроса и отследить результат выполнения.

В качестве инструкции можно использовать любые команды - от простых запросов типа Select до более сложных процедур. При этом запрос должен выполняться менее 30 секунд, в противном случае произойдет ошибка (timeout).

Обратите внимание! Во-первых, при создании запроса следует учитывать тот факт, что нужное нам значение должно возвращаться в первую строку первого столбца результирующего набора. Именно это значение будет далее анализироваться. Во-вторых, для запросов с использованием операторов манипулирования данными дополнительно будет считываться количество затронутых записей.

Далее приведена графическая интерпретация результата выполнения инструкции DELETE по конкретно выбранным параметрам:

Соответственно, каждый такой сценарий регистрируется, а последний - всегда доступен в таблице задач интерфейса. При этом, если результирующий набор данных- числовой - по нему будет построен график, с помощью которого можно проследить динамику изменений соответствующих метрик. На данном этапе также можно задавать условия отбора (равно /не равно; больше/меньше, чем; в пределах/за пределами).

В случае, если условие не будет выполняться - запрос не проходит проверку по таймауту или отсутствует соединение с БД - Вам будет выслано уведомление на телефон или сообщение в Skype, Viber, Telegram, Slack.

Пример создания проверки

Приведем полный пример, содержащий сценарий как для отслеживания размера файлов БД, так и для получения сообщений при достижении порогового значения.

1. Формируем выборку, которая определяет объем свободного места в табличном пространстве:

          SELECT
          convert(DECIMAL(12,2),round(sysfile.size/128.000,2)) AS 'FileSize/mb'
          , convert(DECIMAL(12,2),round(fileproperty(sysfile.name,'SpaceUsed')/128.000,2))
          AS 'Used/mb'
          , convert(DECIMAL(12,2),round((sysfile.size-fileproperty(sysfile.name,'SpaceUsed'))/128.000,2))
          AS 'Free/mb'
          , filegroup.groupname AS 'File-group'
          , sysfile.[name],sysfile.[filename]
          FROM dbo.sysfiles sysfile (NOLOCK)
          inner join dbo.sysfilegroups filegroup (NOLOCK) ON filegroup.groupid =
          sysfile.groupid
          UNION ALL 
          SELECT
          convert(DECIMAL(12,2),round(sysfile.size/128.000,2)) AS 'FileSize/mb'
          , convert(DECIMAL(12,2),round(fileproperty(sysfile.name,'SpaceUsed')/128.000,2))
          AS 'Used/mb'
          , convert(DECIMAL(12,2),round((sysfile.size-fileproperty(sysfile.name,'SpaceUsed'))/128.000,2))
         AS 'Free/mb'
         , (CASE WHEN sysfile.groupid = 0 THEN 'Log' END) AS 'File-group'
         , sysfile.[name],sysfile.[filename]
         FROM dbo.sysfiles sysfile (NOLOCK) WHERE groupid = 0
         ORDER BY [File-group],sysfile.[name]            

     2.  Получаем следующий результат:

     3.  Определяем условия отбора:

            1.  Результат запроса – выбираем «значение в первой колонке первой строки».

            2.  Проверка результата – выбираем «меньше, чем» и как макс. значение указываем «1000».

Будет получен следующий результат: если лог-файл превысит 1 Гб, нам поступит сообщение.

Кроме того, вся история всегда доступна для просмотра, поэтому вы с легкостью сможете выявить причину возникновения той или иной проблемы, в частности, причину быстрого заполнения места табличного пространства.

Настройка мониторинга

Для того, чтобы сформировать новую Проверку БД необходимо:

1. Заполнить следующие поля:

• Сервер – укажите имя сервера;

• Порт – укажите имя порта;

• База данных – укажите имя базы;

• Пользователь –укажите логин под которым необходимо будет выполнить запрос;

• Пароль – укажите пароль, соответствующий вашему логину.

Для данного задания рекомендуется создать отдельного пользователя с ограниченными правами.

      2.  Обеспечить доступ к базе. Для этого, добавьте IP-адреса агентов HostTracker в белый список файрволла и вашего сервера.

Внимание! IP-адреса наших агентов - постоянны.

      3.  Когда будете готовы - нажмите Сохранить.

Если при создании данного задания у вас возникли проблемы, пожалуйста, сразу же обращайтесь в нашу службу поддержки.

В даній статті ми б хотіли познайомити вас ще з однією цікавою та корисною функцією нашого сервісу - Перевірка баз даних (далі - БД).

Існує багато різних сервісів і метрик для збору та аналізу інформації про роботу ресурсу, як-от кількість відвідувачів, тривалість сесій, розподіл аудиторії за регіонами тощо. Але під час роботи з даними виникає потреба в порівнянні даних показників, а особливо більш «технічних» їх характеристик, наприклад, приросту бази.

Саме для отримання та оцінки таких параметрів, команда розробників та аналітиків ХостТрекера розробила простий для розуміння та використання інструмент – Перевірка БД.

Налаштування запиту

Як правило, налаштування даного запиту не займає багато часу. Функція Перевірка БД дозволяє кожного разу при перевірці виконувати певний запит до бази даних, і відповідним чином обробляти результат. У разі, якщо запит не визначено – буде перевірятися можливість підключення до бази. Найцікавіше в даному інструменті - можливість з заданим часовим інтервалом виконувати певний запит, при цьому зберігаючи та порівнюючи його результати. Запит може бути будь-який - від простих вибірок до більш складніших, як-от (регулярних) апдейтів таблиць, запуску процедур (замість планувальника), різноманітних порівнянь і логічних операцій. Єдине обмеження – такий запит повинен виконуватися за 30 секунд, інакше - буде повернуто помилку по таймауту. Яким же чином ці дані можна аналізувати?

По-перше, запит має бути написаний таким чином, щоб потрібне значення поверталося в першу колонку першого рядка результуючого набору. Саме це отримане значення можна аналізувати. По-друге, для запитів з використанням операторів маніпулювання даними (UPDATE, INSERT, DELETE) ще додатково буде фіксуватися кількість оброблених рядків.

Наприклад, графік результату виконання DELETE за певними параметрами буде виглядати таким чином:

Відповідно, кожне таке спостереження фіксується, а останній результат запиту завжди доступний в таблиці завдань інтерфейсу. При цьому, якщо значення числове - по ньому буде побудовано графік, за допомогою якого можна прослідкувати динаміку змін відповідного параметру (параметрів). На даному етапі також можна задавати умови відбору – тобто значення може бути рівним/нерівним, перевищувати задане, перебувати у визначеному проміжку/поза ним тощо.

У випадку, якщо умова не буде виконуватися - запит не пройшов перевірку через таймаут або відсутнє з’єднання з БД - вам буде надіслано повідомлення (нагадаємо, ХостТрекер підтримує SMS, E-mail, Skype, Viber, Telegram, Push, Slack сповіщення та голосовий дзвінок).

Приклад використання

Для прикладу продемонструємо сценарій для відстеження розміру файлів БД і отримання повідомлень при досягненні певного критичного значення.

1. Пишемо запит, щоб отримати потрібні нам дані про вільне місце в табличному просторі: 

          SELECT
          convert(DECIMAL(12,2),round(sysfile.size/128.000,2)) AS 'FileSize/mb'
          , convert(DECIMAL(12,2),round(fileproperty(sysfile.name,'SpaceUsed')/128.000,2))
          AS 'Used/mb'
          , convert(DECIMAL(12,2),round((sysfile.size-fileproperty(sysfile.name,'SpaceUsed'))/128.000,2))
          AS 'Free/mb'
          , filegroup.groupname AS 'File-group'
          , sysfile.[name],sysfile.[filename]
          FROM dbo.sysfiles sysfile (NOLOCK)
          inner join dbo.sysfilegroups filegroup (NOLOCK) ON filegroup.groupid =
          sysfile.groupid
          UNION ALL 
          SELECT
          convert(DECIMAL(12,2),round(sysfile.size/128.000,2)) AS 'FileSize/mb'
          , convert(DECIMAL(12,2),round(fileproperty(sysfile.name,'SpaceUsed')/128.000,2))
          AS 'Used/mb'
          , convert(DECIMAL(12,2),round((sysfile.size-fileproperty(sysfile.name,'SpaceUsed'))/128.000,2))
         AS 'Free/mb'
         , (CASE WHEN sysfile.groupid = 0 THEN 'Log' END) AS 'File-group'
         , sysfile.[name],sysfile.[filename]
         FROM dbo.sysfiles sysfile (NOLOCK) WHERE groupid = 0
         ORDER BY [File-group],sysfile.[name]                                          

      2.  Отримуємо таку картину:

      3.  Обираємо потрібні параметри:

             1.  Результат запиту - «значення в першій колонці першого рядка».

             2.  Перевірка результату - «менше, ніж» і вводимо в поле значення «1000».

Отримуємо: якщо лог-файл перевищить 1 Гб, нам надійде сповіщення.

Крім того, можна завжди переглянути історію завдання – для розуміння як швидко і коли саме спостерігався приріст.

Налаштування моніторингу

Під час налаштування необхідно вказати адресу сервера, порт, назву бази, логін і пароль користувача під яким буде виконуватися запит. Для даного завдання ми рекомендуємо створити окремого користувача з обмеженими правами (надати йому права тільки на ті дії, які йому слід виконувати). Також необхідно додати адреси серверів ХостТрекера звідки будуть проводитися перевірки в білий список фаєрволу та сервера БД, щоб забезпечити доступ до бази. Дані адреси визначені наперед – вони постійні.