LinuxByte » nginx

用 awstats分析 Nginx 日志的一些记录

xiao H — Wed, 27 Apr 2011 08:55:12 +0000

系统环境为Cenots+Nginx 详细请阅读之前的日志《Centos yum 安装nginx+PHP-FPM+eAccelerator+mysql》。
Awstats 是目前最流行的日志分析工具，它提供比第三方日志更方便更详实的日志分析。

系统默认Nginx 版本为 1.0.0，日志格式 Awstats 可以直接识别，并且由logrotate 做了日志回滚，每日对日志进行截断。为了得到更准确的分析结果并且尽量少占用系统资源，我每天在凌晨分析上一天的日志，并将结果输出为纯静态文件。由于logrotate 压缩了旧日志所以要修改logrotate 设置不压缩就日志。
修改vi /etc/logrotate.d/nginx

/var/log/nginx/*log {
    daily
    rotate 10 #保留10天的日志
    missingok
    notifempty
    nocompress #就是这里默认是compress压缩日志
    sharedscripts
    postrotate
        [ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
    endscript
}

下载安装Awstats

wget http://prdownloads.sourceforge.net/awstats/awstats-7.0-1.noarch.rpm
rpm -ivh awstats-7.0-1.noarch.rpm

配置

cd /usr/local/awstats/tools
perl awstats_configure.pl

由于我们的web服务器是Nginx 所以 Check for web server install 我们选 none

-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ? y #这里选Y
 
-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
> www.linuxbyte.org #输入你要统计的网站的域名

编辑/etc/awstats/awstats.www.linuxbyte.org.conf
修改 LogFile 段加入网站日志的路径。

LogFile="/var/log/nginx/www.linuxbyte.org.access.log.1"

生成份分析结果的静态文件

cd /data/web/linuxbyte.org/awstats
cp /usr/local/awstats/wwwroot/icon/ ./ -rf 
/usr/local/awstats/tools/awstats_buildstaticpages.pl -config=www.linuxbyte.org -lang=cn -dir=/web/linuxbyte/awstats -update

自此你可以访问http://www.linuxbyte.org/awstats/awstats.www.linuxbyte.org.html 来查看分析结果。

设置crontable

30 4 * * */usr/local/awstats/tools/awstats_buildstaticpages.pl -config=www.linuxbyte.org -lang=cn -dir=/web/linuxbyte/awstats -update

每天凌晨 4：30 分析日志，因为这个时候是服务器最空闲的时段。

与本文关系暧昧的文字

标签：awstats, nginx, 日志分析

Feed enhanced by Better Feed from Ozh

Nginx 限制并发连接数

xiao H — Sat, 26 Mar 2011 15:23:29 +0000

在http 段添加下面语句定义一个记录区

  limit_zone   myzone  $binary_remote_addr  10m;

在server 段加入下面语句，限制并发数为十。

    limit_conn   myzone  10;

与本文关系暧昧的文字

标签：nginx, 并发连接数

Feed enhanced by Better Feed from Ozh

Centos yum 安装nginx+PHP-FPM+eAccelerator+mysql

xiao H — Tue, 22 Mar 2011 06:59:53 +0000

记录下我在linodeVPS 的Centos下安装配置nginx+PHP-FPM+eAccelerator+mysql的过程。

添加安装源
Centos 默认官方源中没有nginx 和 php-fpm 所以必须添加第三方源，不然就只能自己编译了。

添加[CentALT]源
在/etc/yum.repo.d 目下创建 alt.ru.repo 文件内容如下：

[CentALT]
name=CentALT Packages for Enterprise Linux 5 - $basearch
baseurl=http://centos.alt.ru/repository/centos/5/$basearch/
enabled=1
gpgcheck=0

启用 EPEL

rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm

32系统的用下面命令

rpm -Uvhhttp://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-4.noarch.rpm

安装 nginx +PHP-FPM +eAccelerator +mysql

yum update
 yum install nginx php-fpm php-cli php-pdo php-mysql php-mcrypt php-mbstring php-gd php-tidy php-xml php-xmlrpc php-pear php-pecl-memcache php-eaccelerator

配置优化Nginx
修改 /etc/nginx/nginx.conf,下面只列出修改的部分。

#根据CPU 核心processes，VPS下几个核心几个processes，独立服务器可x2
worker_processes  4;
 
#启用epoll
worker_rlimit_nofile 51200;
events {
    worker_connections  51200;
    use epoll;
}
#参数调整
    sendfile        on;
    tcp_nopush      on;
    tcp_nodelay     on;
    server_tokens   off;
    keepalive_timeout  50;
    server_names_hash_bucket_size 128;
    client_header_buffer_size 32k;
    large_client_header_buffers 4 32k;
    client_max_body_size 50m;
#fastcgi优化
    fastcgi_connect_timeout 300;
    fastcgi_send_timeout 300;
    fastcgi_read_timeout 300;
    fastcgi_buffer_size 64k;
    fastcgi_buffers 4 64k;
    fastcgi_busy_buffers_size 128k;
    fastcgi_temp_file_write_size 256k;
 
#开启gzip并优化
    gzip on;
    gzip_min_length  1k;
    gzip_buffers     4 16k;
    gzip_http_version 1.0;
    gzip_comp_level 2;
    gzip_types       text/plain application/x-javascript text/css application/xml;
    gzip_vary on;

php-fpm 调整
修改/etc/php-fpm.conf 将max_children 调为20

 name="max_children">20>

mysql 调整
修改/etc/my.conf [mysqld] 段加入如下指令

skip-network
skip-innodb
skip-locking
skip-bdb
 
key_buffer              = 16K
max_allowed_packet      = 3M
thread_stack            = 64K
thread_cache_size       = 8
table_cache             = 3
query_cache_limit       = 1M
query_cache_size        = 16M

系统内核调整
在/etc/sysctl.conf 加入

net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000    65000
net.ipv4.tcp_max_tw_buckets = 6000

echo “ulimit -SHn 65535” >> /etc/rc.local
styctl -p

开启服务并设置系统启动默认启动

ulimit -SHn 65535
/etc/init.d/nginx  start
/etc/init.d/php-fpm start
/etc/init.d/mysqld start
chkconfig nginx on
chkconfig php-fpm on
chkconfig mysqld on

与本文关系暧昧的文字

© xiao H for LinuxByte, 2011
Source: Centos yum 安装nginx+PHP-FPM+eAccelerator+mysql
Post tags: eaccelerator, mysql, nginx, php, php-fpm, yum

标签：eaccelerator, mysql, nginx, php, php-fpm, yum

Feed enhanced by Better Feed from Ozh

Nginx下实现gzip静态文件压缩

xiao H — Wed, 04 Feb 2009 12:25:35 +0000

别地方抄来的留个备份
nginx要修改两处，在虚拟主机配置段中添加：

location ~* ^.+.gzjs$ {
add_header Content-Encoding gzip;
gzip off;
}

另外再修改nginx的mime文件，在application/x-javascript js;中添加gzjs

application/x-javascript js gzjs;

与本文关系暧昧的文字

标签：gzip, nginx

Feed enhanced by Better Feed from Ozh

Nginx 安装

xiao H — Tue, 12 Feb 2008 07:13:18 +0000

预先编译好的安装包
Nginx在一些Linux发行版和BSD的各个变种版本的安装包仓库中都会有，通过各个系统自带的软件包管理方法即可安装。需要注意的是，很多预先编译好的安装包都比较陈旧，大多数情况下还是推荐直接从源码编译。

官方源代码下载
http://sysoev.ru/nginx/download.html

使用源代码进行构建
Nginx 使用 Unix 下常用的 ‘./configure && make && make install’ 过程来编译安装。

configure 脚本确定系统所具有一些特性，特别是 nginx 用来处理连接的方法。然后，它创建 Makefile 文件。

configure 支持下面的选项：

–prefix= – Nginx安装路径。如果没有指定，默认为 /usr/local/nginx。

–sbin-path= – Nginx可执行文件安装路径。只能安装时指定，如果没有指定，默认为/sbin/nginx。

–conf-path= – 在没有给定-c选项下默认的nginx.conf的路径。如果没有指定，默认为/conf/nginx.conf。

–pid-path= – 在nginx.conf中没有指定pid指令的情况下，默认的nginx.pid的路径。如果没有指定，默认为 /logs/nginx.pid。

–lock-path= – nginx.lock文件的路径。

–error-log-path= – 在nginx.conf中没有指定error_log指令的情况下，默认的错误日志的路径。如果没有指定，默认为 /logs/error.log。

–http-log-path= – 在nginx.conf中没有指定access_log指令的情况下，默认的访问日志的路径。如果没有指定，默认为 /logs/access.log。

–user= – 在nginx.conf中没有指定user指令的情况下，默认的nginx使用的用户。如果没有指定，默认为 nobody。

–group= – 在nginx.conf中没有指定user指令的情况下，默认的nginx使用的组。如果没有指定，默认为 nobody。

–builddir=DIR – 指定编译的目录

–with-rtsig_module – 启用 rtsig 模块

–with-select_module –without-select_module – Whether or not to enable the select module. This module is enabled by default if a more suitable method such as kqueue, epoll, rtsig or /dev/poll is not discovered by configure.

//允许或不允许开启SELECT模式，如果 configure 没有找到更合适的模式，比如：kqueue(sun os),epoll (linux kenel 2.6+), rtsig(实时信号)或者/dev/poll(一种类似select的模式，底层实现与SELECT基本相同，都是采用轮训方法) SELECT模式将是默认安装模式

–with-poll_module –without-poll_module – Whether or not to enable the poll module. This module is enabled by default if a more suitable method such as kqueue, epoll, rtsig or /dev/poll is not discovered by configure.

–with-http_ssl_module – Enable ngx_http_ssl_module. Enables SSL support and the ability to handle HTTPS requests. Requires OpenSSL. On Debian, this is libssl-dev.

//开启HTTP SSL模块，使NGINX可以支持HTTPS请求。这个模块需要已经安装了OPENSSL，在DEBIAN上是libssl

–with-http_realip_module – 启用 ngx_http_realip_module

–with-http_addition_module – 启用 ngx_http_addition_module

–with-http_sub_module – 启用 ngx_http_sub_module

–with-http_dav_module – 启用 ngx_http_dav_module

–with-http_flv_module – 启用 ngx_http_flv_module

–with-http_stub_status_module – 启用 “server status” 页

–without-http_charset_module – 禁用 ngx_http_charset_module

–without-http_gzip_module – 禁用 ngx_http_gzip_module. 如果启用，需要 zlib 。

–without-http_ssi_module – 禁用 ngx_http_ssi_module

–without-http_userid_module – 禁用 ngx_http_userid_module

–without-http_access_module – 禁用 ngx_http_access_module

–without-http_auth_basic_module – 禁用 ngx_http_auth_basic_module

–without-http_autoindex_module – 禁用 ngx_http_autoindex_module

–without-http_geo_module – 禁用 ngx_http_geo_module

–without-http_map_module – 禁用 ngx_http_map_module

–without-http_referer_module – 禁用 ngx_http_referer_module

–without-http_rewrite_module – 禁用 ngx_http_rewrite_module. 如果启用需要 PCRE 。

–without-http_proxy_module – 禁用 ngx_http_proxy_module

–without-http_fastcgi_module – 禁用 ngx_http_fastcgi_module

–without-http_memcached_module – 禁用 ngx_http_memcached_module

–without-http_limit_zone_module – 禁用 ngx_http_limit_zone_module

–without-http_empty_gif_module – 禁用 ngx_http_empty_gif_module

–without-http_browser_module – 禁用 ngx_http_browser_module

–without-http_upstream_ip_hash_module – 禁用 ngx_http_upstream_ip_hash_module

–with-http_perl_module – 启用 ngx_http_perl_module

–with-perl_modules_path=PATH – 指定 perl 模块的路径

–with-perl=PATH – 指定 perl 执行文件的路径

–http-log-path=PATH – Set path to the http access log

–http-client-body-temp-path=PATH – Set path to the http client request body temporary files

–http-proxy-temp-path=PATH – Set path to the http proxy temporary files

–http-fastcgi-temp-path=PATH – Set path to the http fastcgi temporary files

–without-http – 禁用 HTTP server

–with-mail – 启用 IMAP4/POP3/SMTP 代理模块

–with-mail_ssl_module – 启用 ngx_mail_ssl_module

–with-cc=PATH – 指定 C 编译器的路径

–with-cpp=PATH – 指定 C 预处理器的路径

–with-cc-opt=OPTIONS – Additional parameters which will be added to the variable CFLAGS. With the use of the system library PCRE in FreeBSD, it is necessary to indicate –with-cc-opt=”-I /usr/local/include”. If we are using select() and it is necessary to increase the number of file descriptors, then this also can be assigned here: –with-cc-opt=”-D FD_SETSIZE=2048″.

–with-ld-opt=OPTIONS – Additional parameters passed to the linker. With the use of the system library PCRE in FreeBSD, it is necessary to indicate –with-ld-opt=”-L /usr/local/lib”.

–with-cpu-opt=CPU – 为特定的 CPU 编译，有效的值包括：pentium, pentiumpro, pentium3, pentium4, athlon, opteron, amd64, sparc32, sparc64, ppc64

–without-pcre – 禁止 PCRE 库的使用。同时也会禁止 HTTP rewrite 模块。在 “location” 配置指令中的正则表达式也需要 PCRE 。

–with-pcre=DIR – 指定 PCRE 库的源代码的路径。

–with-pcre-opt=OPTIONS – Set additional options for PCRE building.

–with-md5=DIR – Set path to md5 library sources.

–with-md5-opt=OPTIONS – Set additional options for md5 building.

–with-md5-asm – Use md5 assembler sources.

–with-sha1=DIR – Set path to sha1 library sources.

–with-sha1-opt=OPTIONS – Set additional options for sha1 building.

–with-sha1-asm – Use sha1 assembler sources.

–with-zlib=DIR – Set path to zlib library sources.

–with-zlib-opt=OPTIONS – Set additional options for zlib building.

–with-zlib-asm=CPU – Use zlib assembler sources optimized for specified CPU, valid values are: pentium, pentiumpro

–with-openssl=DIR – Set path to OpenSSL library sources

–with-openssl-opt=OPTIONS – Set additional options for OpenSSL building

–with-debug – 启用调试日志

–add-module=PATH – Add in a third-party module found in directory PATH

在不同版本间，选项可能会有些许变化，请总是使用 ./configure –help 命令来检查一下当前的选项列表。

示例 (最好能在同一行)：
    ./configure \
        –sbin-path=/usr/local/nginx/nginx \
        –conf-path=/usr/local/nginx/nginx.conf \
        –pid-path=/usr/local/nginx/nginx.pid \
        –with-http_ssl_module \
        –with-pcre=../pcre-4.4 \
        –with-zlib=../zlib-1.1.3
Example on Ubuntu/debian with libgcrypt11-dev, libpcre3-dev and libssl-dev installed (choose EITHER –with-md5 OR –with-sha1, but not both; on debian and ubuntu, they should both point to /usr/lib)
     ./configure –with-openssl=/usr/lib/ssl/ –with-md5=/usr/lib
An Ubuntu Edgy .deb for version 0.5.2 can be found here: nginx_0.5.2-1_i386.deb.

(NOTE: According to an October 2006 message md5 was used in a now broken http cache module and sha1 is used in an incomplete mysql library module and so are currently not needed.)

与本文关系暧昧的文字

标签：nginx, web, 服务器应用

Feed enhanced by Better Feed from Ozh