Здравствуйте Гость [ Вход | Регистрация ] | Форум в сети 4969-й день

 проблемы со скриптом cpuload в debian9

-13-
Jul 2 2019, 10:22
  
Пост #1

Благодарности: 5714

Репутация:   1222  
Ветеран
*****

Группа: Модеры
Сообщений: 6 047
С нами с: 17-October 06


привет
не могу вкурить что не так

задача: debian 9, если нагрузка ЦП более 90% - делать одно (блочить посетителей на cloudflare по API), если менее 60% - делать другое (убирать блокировку)

решение: скрипт, который проверяет нужный LA в пересчете на ядра и выполняет действия, запускается каждые три минуты

проблема: подозреваю что или скрипт, или заббикс - 3,14здят при каких-то определенных обстоятельствах

вот сам скрипт (сначала брал LA 1 минуту, потом поставил 5, а сейчас 15)
» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

когда я сверяю с заббиксом на при 10-30% нагрузки - данные скрипта и заббикса (CPU utilization) совпадают
а некоторыми вечерами - скрипт отрабатывает условие "нагрузка ЦП выше 90%" при том что на заббиксе таких пиков нет и вообще выше 80% нагрузка не поднимается
http://dl4.joxi.net/drive/2019/07/02/0002/.../2650d8306d.jpg
(cpustealtime - так надо, это соседняя виртуалка, и украденные проценты идут в учет общей нагрузки ЦП этой виртуалки)

добавил журналирование
вижу странность
до определенного времени скрипт пишет лог каждые три минуты - как и положено
потом перерыв, перегруз которого нет на заббиксе, опять перерыв, и нормальная работа
» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

в syslog - видно что скрипт отрабатывает каждые три минуты
» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

куда копать?
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
 
Reply to this topicStart new topic
Ответов(1 - 7)
mak_v_
Jul 2 2019, 10:37
  
Пост #2



Репутация:   370  
Ветеран
*****

Группа: Пользователи
Сообщений: 5 866
С нами с: 4-December 11


просто, как вариант....предложу montit, дефолтный семпл как пример, легкодотачиваемый ))...
» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «


2, в заббиксе уже есть такая метрика, без скриптования, которая достается из /proc/
percore cpu load 1m - system.cpu.load[percpu,avg1]

Сообщение отредактировал mak_v_ - Jul 2 2019, 10:39
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
-13-
Jul 2 2019, 17:02
  
Пост #3

Благодарности: 5714

Репутация:   1222  
Ветеран
*****

Группа: Модеры
Сообщений: 6 047
С нами с: 17-October 06


та монит и заббикс - левые утилиты, хотелось что-то попроще

этот скрипт работал корректно довольно долго, когда нагрузки были или низкие, или аномальные
а на переходящих значениях - что-то сбоит , интересно разобраться
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
mak_v_
Jul 2 2019, 17:09
  
Пост #4



Репутация:   370  
Ветеран
*****

Группа: Пользователи
Сообщений: 5 866
С нами с: 4-December 11


Думаю что в интервалах замеров причина и в "усреднении"
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
qazzy
Jul 2 2019, 22:15
  
Пост #5



Репутация:   78  
Cтаршой
**

Группа: Пользователи
Сообщений: 609
С нами с: 18-March 08


Я о таком читал, и в принципе это гуглится - в дефолтных шаблонах заббикса идет мониторинг LA per core. Возможно из-за этого несостыковки?

По поводу перерывов - может стоит выводить инфу был ли отправлен запрос, вдруг при отправке запроса подвисает, чем и вызывается сбой
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nerve
Jul 3 2019, 11:02
  
Пост #6



Репутация:   278  
Постоялец
***

Группа: Пользователи
Сообщений: 1 732
С нами с: 5-January 07


(-13- @ Jul 2 2019, 11:22) Перейти к цитате

привет

куда копать?


исключить крон не пробовал?
поставь на сутки и прочекай потом по логам будет затуп или нет.

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «


Сообщение отредактировал nerve - Jul 3 2019, 11:34
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
-13-
Jul 4 2019, 16:32
  
Пост #7

Благодарности: 5714

Репутация:   1222  
Ветеран
*****

Группа: Модеры
Сообщений: 6 047
С нами с: 17-October 06


(qazzy @ Jul 2 2019, 23:15) Перейти к цитате

Я о таком читал, и в принципе это гуглится - в дефолтных шаблонах заббикса идет мониторинг LA per core. Возможно из-за этого несостыковки?

По поводу перерывов - может стоит выводить инфу был ли отправлен запрос, вдруг при отправке запроса подвисает, чем и вызывается сбой
ну сейчас я склонен к тому, что заббикс занижает значения
скрипт пишет в лог LA 8 (на 8 ядер) и пересчитывает как 100%, а заббикс процентов на 10 меньше показывает на графике

перерывы - точно, клауд же колбасило пару раз на неделе, а я в лог писал после api-запроса
поставил перед запросом

(nerve @ Jul 3 2019, 12:02) Перейти к цитате

исключить крон не пробовал?
поставь на сутки и прочекай потом по логам будет затуп или нет.

вариант, спасибо, попробую если повторится

пока подкорректировал порог срабатывания до 100% , с учетом сопоставления лога скрипта и графика заббикса

всем спасибо thumb_up.png
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
olexande
Aug 26 2019, 20:47
  
Пост #8



Репутация:   132  
Старожил
****

Группа: Пользователи
Сообщений: 2 025
С нами с: 27-February 07


- LA не завжди є "головний показник" перевантаження системи ...
- Якщо сервер робить запити для обробки в інші підсистеми, за ними слідкуєте?
- Обмеження, такі, я к пул з'єднаннь, кількість активних сесій, кількість відкритих файлів ... - відслідковуєте?
- Для БД - слідкуєте за "повільними запитами"?..
- Про "повільних клієнтів" не забули?

ELK-стек важко налаштовується (підлаштовується) під конкретні логи, але дуже допомагає в аналізі що відбувається з системою wink.png
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

Reply to this topicStart new topic

 



- Упрощённая версия
Сейчас: 23rd October 2019 - 4:18
Сайт не предоставляет электронные версии произведений, а занимается лишь коллекционированием и каталогизацией ссылок, присылаемых и публикуемых на форуме нашими читателями. Если вы являетесь правообладателем какого-либо представленного материала и не желаете чтобы ссылка на него находилась в нашем каталоге, свяжитесь с нами и мы удалим её. Файлы для обмена предоставлены пользователями сайта.