[csdoc]

Сообщение от Diotima

У меня почему-то перестала открываться ветка Ситуация на Украине. Причем на разных гаджетах. Очищаю историю, все равно не открывается

Время от времени форум вообще не работает и тогда любая тема не открывается, сервер возвращает 500 ошибку. Форум в сообщении про ошибку сообщает, что информация о проблеме записана в логи сервера и что администратор сервера может там посмотреть причину проблемы, чтобы ее устранить.

Через некоторое время - сервер приходит в себя и снова начинает нормально отвечать на запросы, как в теме "Ситуация на Украине", так и в других темах.

Иногда - сервер отвечат очень долго на запросы, иногда - долго, иногда - быстро.

Сообщение от Diotima

мне кажется. какие-то злые силы начинают козни строить против этой ветки. У кого-нибудь такое случается?

Вряд ли "злые силы" каким-либо образом замешаны в том, чтобы помешать нормальной работе этого форума, тем более что в его текущем состоянии - этот форум приносит злым силам скорее больше пользы, чем вреда.

Причина более простая - сервер не всегда справляется с нагрузкой.

Например, в какой-то момент времени статистика форума показывает такую информацию:

Присутствуют: 219 (1 пользователей и 218 гостей)

Присутствуют: 467 (3 пользователей и 464 гостей)

Присутствуют: 497 (3 пользователей и 494 гостей)

Присутствуют: 609 (1 пользователей и 608 гостей)

Пользователи - это те, у кого есть аккаунт на форуме, а гости - это те, у кого аккаунта на форуме нет или они в него не зашли. В роли гостей считаются и все поисковые машины, которые индексируют сервер в поисках новых сообщений - гугл, яндекс и большое количество других поисковых систем - как правило они и создают повышенную нагрузку, потому что время от времени пересканируют все сообщения форума, чтобы содеждать в своем индексе актуальную информацию.

А так как со временем сообщений на форуме становится все больше и больше, и количество различных поисковых систем в интернете тоже увеличивается - то и нагрузка на сервер от роботов, сканирующих форум тоже вырастает и тех серверных мощностей, которых было достаточно раньше для нормальной работы форума - сейчас уже не хватает.

Вот например, по статистике другого сайта: за 10 часов времени из всего 5662 запросов к сайту - только 746 запросов можно считать запросами от людей, все остальные 4916 запросов - это запросы от ботов. То есть, примерно 13% - запросы от людей и 87% - запросы от различных ботов, от поисковых систем и т.п. На форуме - соотношение между запросами от людей и от ботов - может быть примерно таким же, или даже с еще большим перекосом в сторону ботов.

Кроме того - могут быть к серверу запросы от специальных "вредоносных" ботов, которые ищут уязвимости на сервере. Учитывая то, какая старая версия движка форума, PHP и nginx здесь используется - удивительно как его до сих пор еще не взломали. Или уже взломали? После взлома - злоумышленники могут получить несанкционированный доступ к серверу, и например, установить майнер криптовалют, чтобы используя чужие серверные мощности "зарабатывать" деньги путем майнинга криптовалют. Если произошла такая ситуация - тогда это может быть одной из основных причин почему форум время от времени возвращает 500 ошибку и не справляется с запросами от пользоватлей и гостей форума.

Точный ответ на вопрос почему форум работает не стабильно и время от времени долго отвечает или возвращает 500 ошибку - можно найти в логах сервера, но скорее всего - причина в том, что просто возросла нагрузка на сервер из-за того, что увеличилось количество сообщений на форуме и выросло количество ботов в интернете, которые сканируют сервер.

Как можно решить эту проблему с нестабильной работой сервера? Или брать в оренду / покупать более мощный сервер, или оптимизировать работу этого, например, посмотреть в slow log какие запросы к базе данных долго выполняются, потому что не хватает каких-то индексов или - запрещать через robots.txt сканирование сайта всем "левым" ботам, которые не являются ботами основных поисковых систем. Как правило - "вежливые" боты идентифицируют себя через заголовок запроса User-Agent и корректно выполняют все рекомендации по сканированию и запрету сканирования, которые содержатся в файле robots.txt

А на форуме файл http://forum.roerich.info/robots.txt не менялся с 2017 года

$ curl -s -i http://forum.roerich.info/robots.txt

Last-Modified: Sat, 28 Oct 2017 07:34:45 GMT

и не содержит строк запрещающих сканирование сайта "левым" роботам.

Какие именно боты делают больше всего нагрузку - это можно посчитать на основании информации из nginx access.log.

Если /var/log/nginx/access.log имеет tab-separated формат, то можно посчитать статистику по User-Agent примерно таким запросом:

# awk 'BEGIN { FS = "\t" } { print $13 }' /var/log/nginx/access.log | sort | uniq -c | sort -n | tail

23 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.179 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
29 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36
30 Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36
62 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36
67 Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/116.0
94 Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Mobile Safari/537.36
136 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
157 Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 YaBrowser/23.7.2.768 Yowser/2.5 Safari/537.36
1023 Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
4091 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Тут видно, что бот поисковой системы google.com сделал 23 запроса, бот поисковой системы bing.com сделал 62 запроса, бот поисковой системы ya.ru сделал 136 запросов.

Много запросов - 1023 шт. сделал AhrefsBot от SEO`шников, и очень много запросов - 4091 шт. сделал GPTBot, который сканирует интернет для дообучения искусственного интеллекта ChatGPT - https://chat.openai.com/chat

Но что именно дает такую высокую нагрузку на сайт forum.roerich.info, что он иногда не справляется - это надо смотреть в логах сервера - логи nginx, логи mysqld и результат работы скрипта http://mysqltuner.pl - там должны быть ответы на все вопросы.