Apache грузит процессор на 100 windows

Найти проблемное место на сайте, которое побуждает грузить всю систему довольно непросто. Однако это не говорит о том, что это не возможно, вполне возможно, и мы в данном посту как раз рассмотрим одну из подобных ситуаций.
Итак, мы знаем, что система висит, и грузит её процесс httpd. Этот процесс порождают скрипты, вызываемые на сайте. Наша задача определить узкое место на сайте, то, что грузит сервер, и устранить его соответственно.
В Apache есть специальные модули, которые помогут нам в этом деле, именуются они как status_module и info_module. Для их использования нужно убедиться, что они включены в конфигурацию сервера Apache. По умолчанию они включены, так что, скорее всего вам не придется заниматься их установкой.

Открываем файл конфигурации веб-сервера, у меня система CentOS Linux, и файл конфигурации расположен тут:

/etc/httpd/conf/httpd.conf

Убеждаемся, что модули подключены, находим подобные строки:

LoadModule status_module modules/mod_status.so
LoadModule info_module modules/mod_info.so

После этого, после строки DocumentRoot, вписываем настройки, чтобы появилась возможность мониторинга нагрузки через браузер.

ExtendedStatus On
<Location /server-status>
	SetHandler server-status
	Order Deny,Allow
	Deny from all
	# IP адреса, которые могут просматривать данные
	Allow from 127.0.0.1
	Allow from 192.168.0.189
</Location>

Строка Location /server-status указывает путь, по которому будет доступна статистика, здесь стоит указать свой путь, из соображений безопасности. Так же важный момент это IP адреса, для которых будет доступна статистика. К этим параметрам тоже следует отнестись с вниманием, чтобы статистика не оказалась в открытом доступе.

После внесения изменений в файле конфигурации, нужно перезапустить сам сервера httpd. После этого можно попробовать открыть страницу со статистикой, она будет доступна по адресу:

http://ваш_сайт/sever-status/

Стоит обратить внимание на то, что если у вас имеется файл .htaccess в котором прописаны правила перенаправления, то он может перекрывать доступ к /server-status. Для этого вам так же будет необходимо исключить путь к статистике.

После открытия статистики видим страницу, которая начинается со строк «Apache Server Status for». Ниже будет таблица, в которой нас будут интересовать процессы грузящие систему. По колонке CPU можно определить проблемные процессы. Убираются проблемные процессы по PID (ID процесса), в таблице так же отмечена эта колонка.

Убираем проблемный процесс, посредством консоли:

# kill -s 1911

После того как вы определили URL который грузит сервер, далее вам предстоит самостоятельно выяснить и устранить причины излишней нагрузки на процессор уже в коде вашего сайта. Вы можете так же воспользоваться другими хорошими инструментами, такими как Munin, довольно хорошая вещь для мониторинга сервера. Бывает и довольно часто подвисшие процессы в MySQL, что тоже не очень сказывается на работе сайта, для этих целей вы можете воспользоваться утилитой Mytop.

1. 19.10.2010, 04:25

   
   

   #1

   

   
   Member
   

   ---

   apache2 грузит проц на 100%
   

   пару дней назад все работало нормально, тут апач начинает бесится и грузить процесор на 100%, стоит nginx когда его отключаю все нормализуется, т.е у пользователей нету доступа к сайтам, уже второй день сижу парю думаю в чем дело
   вот логи апача
   http://rghost.ru/2966664

   ---

2. 19.10.2010, 04:32

   
   

   #2

   

   
   ISPsystem team
   

   

   ---

   
   

   [QUOTE][Mon Oct 18 17:55:04 2010] [error] (12)Cannot allocate memory: fork: Unable to fork new process
   [Mon Oct 18 17:55:06 2010] [error] (12)Cannot allocate memory: fork: Unable to fork new process
   [Mon Oct 18 17:55:06 2010] [error] (12)Cannot allocate memory: fork: Unable to fork new process
   /QUOTE]
   DDOSят видимо какой-то сайт.
   логи сайтов смотрите

   ---

3. 19.10.2010, 04:41

   
   

   #3

   

   
   Member
   

   ---

   
   

   netstat -na
   показала два ИП адреса один ИП ето ИП самого сервера и один
   89.108.114.130:62855
   вот в txt забросил
   http://rghost.ru/2966884
   если именно етот ИП досит то как можно его блокануть?

   Последний раз редактировалось KapaTicT; 19.10.2010 в 04:45.

   ---

4. 19.10.2010, 04:50

   
   

   #4

   

   
   Member
   

   ---

   
   

   да етот ИП меня досил, наконецто, спасибо Вам что подказали такую команду, теперь сайт летает

   ---

Вот отрывки из /var/log/apache2/error.log

Вот файл /var/log/apache2/access.log

morozovsk:
это что шутка? а где же тогда

Это не шутка.:)

Надо разрешить этот путь в конфиге апача, лучше запаролить и запретить всем кроме вашего провайдера (или локалхоста).

Вот пример для незапароленного локалхоста (и только для него).

Если так сделаете, то сможете смотреть с самого сервера, зайдя через ssh.

 <Location /server-status>

SetHandler server-status

Order Deny,Allow

Deny from all

Allow from localhost

</Location>

http://httpd.apache.org/docs/2.0/ru/mod/mod_status.html

Он выдаёт примерно такое (сейчас колонки немного смещаются при отобращении):

Scoreboard Key:

"_" Waiting for Connection, "S" Starting up, "R" Reading Request,

"W" Sending Reply, "K" Keepalive (read), "D" DNS Lookup,

"C" Closing connection, "L" Logging, "G" Gracefully finishing,

"I" Idle cleanup of worker, "." Open slot with no current process

Srv	PID	Acc	M	CPU 	SS	Req	Conn	Child	Slot	Client	VHost	Request

0-9	25290	0/58/17117	_ 	30.40	13	0	0.0	0.07	25.06 	167.23.241.61	******.ru	GET /images/img12.jpg HTTP/1.1

0-9	25290	1/30/17962	K 	30.69	3	89	0.0	0.08	24.99 	194.67.28.13	******.ru	GET /index.php?action=12 HTTP/1.1

0-9	25290	0/31/17530	_ 	30.25	16	0	0.0	0.09	23.44 	167.23.241.61	******.ru	GET /data/dqata.html HTTP/1.1

System and Httpd Information

System:

# cat /proc/version

Linux version 3.10.0-514.2.2.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC) ) #1 SMP Tue Dec 6 23:06:41 UTC 2016

Httpd Version:

# httpd -v

Server version: Apache/2.4.6 (CentOS)
Server built:   Nov 14 2016 18:04:44

Make MPM Prefork Configure

Get MPM In The Default

# sudo apachectl -t -D DUMP_MODULES |grep mpm

[Thu Jan 12 16:06:11.778080 2017] [so:warn] [pid 23727] AH01574: module wsgi_module is already loaded, skipping
 mpm_prefork_module (shared)

That means mpm_prefork_module is installed and enabled. You can change it to the mode of event, worker or prefork(default) in the file 00-mpm.conf, which file path is /etc/httpd/conf.modules.d.

The reference of Apache MPM is Apache MPM Common Directives

Add Personal Configure

# sudo cat >> /etc/httpd/conf/httpd.conf <<-'EOF'
<IfModule prefork.c>
    ServerLimit              20
    StartServers             15
    MinSpareServers           5
    MaxSpareServers          10
    MaxClients               15
    MaxRequestsPerChild      25
</IfModule>
EOF

• My VM has 2GB memory and 2 Processors

Read details of this configure in the above-mentioned reference.

Restart Httpd

# sudo systemctl restart httpd.service

Inspect Status

# systemctl status httpd.service 

● httpd.service - The Apache HTTP Server
   Loaded: loaded (/usr/lib/systemd/system/httpd.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2017-01-12 13:40:12 CST; 2h 48min ago
     Docs: man:httpd(8)
           man:apachectl(8)
 Main PID: 16576 (httpd)
   Status: "Total requests: 3625; Current requests/sec: -70.2; Current traffic:   0 B/sec"
   Memory: 869.7M
   CGroup: /system.slice/httpd.service
           ├─16576 /usr/sbin/httpd -DFOREGROUND
           ├─24122 /usr/sbin/httpd -DFOREGROUND
           ├─24125 /usr/sbin/httpd -DFOREGROUND
           ├─24154 /usr/sbin/httpd -DFOREGROUND
           ├─24157 /usr/sbin/httpd -DFOREGROUND
           ├─24211 /usr/sbin/httpd -DFOREGROUND
           ├─24219 /usr/sbin/httpd -DFOREGROUND
           └─24236 /usr/sbin/httpd -DFOREGROUND

Jan 12 13:40:12 192-168-1-68.node systemd[1]: Starting The Apache HTTP Server...
Jan 12 13:40:12 192-168-1-68.node httpd[16576]: [Thu Jan 12 13:40:12.614941 2017] [so:warn] [pid 16576] AH01574: module wsgi_module is already loaded, skipping
Jan 12 13:40:12 192-168-1-68.node systemd[1]: Started The Apache HTTP Server.

or

# ps aux|grep httpd

root     16576  0.0  0.0 232232   504 ?        Ss   13:40   0:01 /usr/sbin/httpd -DFOREGROUND
apache   24296 10.9  4.8 542936 91500 ?        S    16:29   0:16 /usr/sbin/httpd -DFOREGROUND
apache   24310 10.6  4.7 542804 89752 ?        S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24343 11.2  6.5 542804 123944 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24344 11.1  6.5 542804 124084 ?       S    16:29   0:14 /usr/sbin/httpd -DFOREGROUND
apache   24345 11.6  6.7 542804 126616 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24347 11.0  6.6 542804 125764 ?       S    16:29   0:14 /usr/sbin/httpd -DFOREGROUND
apache   24377 12.0  6.7 542804 126396 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24378 12.4  6.7 542804 126448 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24408 12.3  6.6 542804 126032 ?       S    16:29   0:14 /usr/sbin/httpd -DFOREGROUND
apache   24450 18.6  5.4 511560 102520 ?       R    16:30   0:10 /usr/sbin/httpd -DFOREGROUND
apache   24458 19.4  4.7 498476 89548 ?        S    16:30   0:08 /usr/sbin/httpd -DFOREGROUND
apache   24466 21.4  4.5 495424 86416 ?        R    16:31   0:07 /usr/sbin/httpd -DFOREGROUND
apache   24484  0.5  0.3 236456  5760 ?        S    16:31   0:00 /usr/sbin/httpd -DFOREGROUND
root     24496  0.0  0.0 112652   964 pts/0    S+   16:31   0:00 grep --color=auto httpd

My apache servers get a request at 2 per second. Before, the numbers of httpd processes increased until the system halted. Aftering setting the MPM Prefork, it works fine.

System and Httpd Information

System:

# cat /proc/version

Linux version 3.10.0-514.2.2.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC) ) #1 SMP Tue Dec 6 23:06:41 UTC 2016

Httpd Version:

# httpd -v

Server version: Apache/2.4.6 (CentOS)
Server built:   Nov 14 2016 18:04:44

Make MPM Prefork Configure

Get MPM In The Default

# sudo apachectl -t -D DUMP_MODULES |grep mpm

[Thu Jan 12 16:06:11.778080 2017] [so:warn] [pid 23727] AH01574: module wsgi_module is already loaded, skipping
 mpm_prefork_module (shared)

That means mpm_prefork_module is installed and enabled. You can change it to the mode of event, worker or prefork(default) in the file 00-mpm.conf, which file path is /etc/httpd/conf.modules.d.

The reference of Apache MPM is Apache MPM Common Directives

Add Personal Configure

# sudo cat >> /etc/httpd/conf/httpd.conf <<-'EOF'
<IfModule prefork.c>
    ServerLimit              20
    StartServers             15
    MinSpareServers           5
    MaxSpareServers          10
    MaxClients               15
    MaxRequestsPerChild      25
</IfModule>
EOF

• My VM has 2GB memory and 2 Processors

Read details of this configure in the above-mentioned reference.

Restart Httpd

# sudo systemctl restart httpd.service

Inspect Status

# systemctl status httpd.service 

● httpd.service - The Apache HTTP Server
   Loaded: loaded (/usr/lib/systemd/system/httpd.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2017-01-12 13:40:12 CST; 2h 48min ago
     Docs: man:httpd(8)
           man:apachectl(8)
 Main PID: 16576 (httpd)
   Status: "Total requests: 3625; Current requests/sec: -70.2; Current traffic:   0 B/sec"
   Memory: 869.7M
   CGroup: /system.slice/httpd.service
           ├─16576 /usr/sbin/httpd -DFOREGROUND
           ├─24122 /usr/sbin/httpd -DFOREGROUND
           ├─24125 /usr/sbin/httpd -DFOREGROUND
           ├─24154 /usr/sbin/httpd -DFOREGROUND
           ├─24157 /usr/sbin/httpd -DFOREGROUND
           ├─24211 /usr/sbin/httpd -DFOREGROUND
           ├─24219 /usr/sbin/httpd -DFOREGROUND
           └─24236 /usr/sbin/httpd -DFOREGROUND

Jan 12 13:40:12 192-168-1-68.node systemd[1]: Starting The Apache HTTP Server...
Jan 12 13:40:12 192-168-1-68.node httpd[16576]: [Thu Jan 12 13:40:12.614941 2017] [so:warn] [pid 16576] AH01574: module wsgi_module is already loaded, skipping
Jan 12 13:40:12 192-168-1-68.node systemd[1]: Started The Apache HTTP Server.

or

# ps aux|grep httpd

root     16576  0.0  0.0 232232   504 ?        Ss   13:40   0:01 /usr/sbin/httpd -DFOREGROUND
apache   24296 10.9  4.8 542936 91500 ?        S    16:29   0:16 /usr/sbin/httpd -DFOREGROUND
apache   24310 10.6  4.7 542804 89752 ?        S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24343 11.2  6.5 542804 123944 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24344 11.1  6.5 542804 124084 ?       S    16:29   0:14 /usr/sbin/httpd -DFOREGROUND
apache   24345 11.6  6.7 542804 126616 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24347 11.0  6.6 542804 125764 ?       S    16:29   0:14 /usr/sbin/httpd -DFOREGROUND
apache   24377 12.0  6.7 542804 126396 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24378 12.4  6.7 542804 126448 ?       S    16:29   0:15 /usr/sbin/httpd -DFOREGROUND
apache   24408 12.3  6.6 542804 126032 ?       S    16:29   0:14 /usr/sbin/httpd -DFOREGROUND
apache   24450 18.6  5.4 511560 102520 ?       R    16:30   0:10 /usr/sbin/httpd -DFOREGROUND
apache   24458 19.4  4.7 498476 89548 ?        S    16:30   0:08 /usr/sbin/httpd -DFOREGROUND
apache   24466 21.4  4.5 495424 86416 ?        R    16:31   0:07 /usr/sbin/httpd -DFOREGROUND
apache   24484  0.5  0.3 236456  5760 ?        S    16:31   0:00 /usr/sbin/httpd -DFOREGROUND
root     24496  0.0  0.0 112652   964 pts/0    S+   16:31   0:00 grep --color=auto httpd

My apache servers get a request at 2 per second. Before, the numbers of httpd processes increased until the system halted. Aftering setting the MPM Prefork, it works fine.