SUSE LINUX Enterprise & openSUSE Community
มิถุนายน 16, 2019, 03:52:25 AM *
ยินดีต้อนรับคุณ, บุคคลทั่วไป กรุณา เข้าสู่ระบบ หรือ ลงทะเบียน
ส่งอีเมล์ยืนยันการใช้งาน?

เข้าสู่ระบบด้วยชื่อผู้ใช้ รหัสผ่าน และระยะเวลาในเซสชั่น
ข่าว:
 
   หน้าแรก   ช่วยเหลือ ค้นหา เข้าสู่ระบบ สมัครสมาชิก  

[Why we need your support] SUSE and openSUSE are trademarks of Attachmate Group, Inc. - WE ARE NOT IN ANY WAY ASSOCIATED WITH SUSE AND ATTACHMATE GROUP. SUSEThailand.com is a SUSE Linux user and community found in Thailand but not limited to other country suse linux user to join in. Currently active contents (How to's, Scripts, Tips, Tricks, Tutorials, Linux Command Line, and Troubleshooting) this suse linux how to's and expert support are SUSE Linux.
หน้า: [1]   ลงล่าง
  พิมพ์  
ผู้เขียน
หัวข้อ: Squid log file analyzer ด้วย calamaris  (อ่าน 2403 ครั้ง)
0 สมาชิก และ 1 บุคคลทั่วไป กำลังดูหัวข้อนี้
Sontaya
Administrator
Expert : ผู้เชี่ยวชาญ
*****

Karma: +1/-0
ออฟไลน์ ออฟไลน์

กระทู้: 1931


Administrator


เว็บไซต์
« เมื่อ: พฤษภาคม 28, 2012, 04:06:53 PM »


Squid log file analyzer ด้วย calamaris

calamaris เป็น perl-based สคริปต์สำหรับใช้ในการสร้างสถิติและวิเคาระห์ squid access log ร่วมถึงใช้ววิเคราะห์ประสิทธิภาพของ proxy server

รายละเอียดเกี่ยวกับ calamaris อ่านเพิ่มเติมได้ที่ http://cord.de/tools/squid/calamaris


- ติดตั้ง calamaris

บน openSUSE 12.1 เราสามารถติดผ่านคำสั่ง zypper ได้เลย

โค๊ด:
zypper in calamaris

จะได้เวอร์ชัน 2.59 ซึ่งเวอร์ชันล่าสุด 2.99.4.0 ต้องดาวน์โหลดมาคอมไพร์เอง หรือสามารถโหลด rpm ไฟล์ได้จากคลังแพคเกจ susethailand


- ตัวอย่างการใช้งาน

ใช้คำสั่ง cd เข้าไปยังไดเรกทอรี log file ก่อน

โค๊ด:
cd /var/log/squid/

ทดสอบสร้างสถิติ

โค๊ด:
cat access.log | calamaris -a

ผลลัพธ์ที่ได้

โค๊ด:
Proxy-Report

Report period: 24.May 12 15:50:38 - 25.May 12 14:02:58
Generated at:  25.May 12 14:05:30

# Summary
lines parsed:           1498
invalid lines:            42
unique hosts/users:        1
parse time (sec):          0

# Incoming requests by method
method                             request      %    Byte       %   sec  kB/sec
--------------------------------- --------- ------ -------- ------ ---- -------
GET                                    1171  78.17 30526690  75.28    1   38.54
CONNECT                                 291  19.43  9999761  24.66  183    0.18
POST                                     36   2.40    24553   0.06    1    1.23
--------------------------------- --------- ------ -------- ------ ---- -------
Sum                                    1498 100.00 40551004 100.00   36    0.73

# Incoming UDP-requests by status
no matching requests              

# Incoming TCP-requests by status
status                             request      %    Byte       %   sec  kB/sec
--------------------------------- --------- ------ -------- ------ ---- -------
HIT                                       0   0.00        0   0.00    0    0.00
MISS                                   1490  99.47 40522955  99.93   36    0.73
 TCP_MISS                              1401  93.52 40468871  99.80   38    0.73
 TCP_REFRESH_UNMODIFIED                  84   5.61    30312   0.07    0  126.50
 TCP_REFRESH_MODIFIED                     5   0.33    23772   0.06    0   22.41
ERROR                                     8   0.53    28049   0.07    0   16113
 TCP_DENIED                               8   0.53    28049   0.07    0   16113
--------------------------------- --------- ------ -------- ------ ---- -------
Sum                                    1498 100.00 40551004 100.00   36    0.73

# Outgoing requests by status
status                             request      %    Byte       %   sec  kB/sec
--------------------------------- --------- ------ -------- ------ ---- -------
DIRECT Fetch from Source               1490 100.00 40522955 100.00   36    0.73
 DIRECT                                1490 100.00 40522955 100.00   36    0.73
SIBLING                                   0   0.00        0   0.00    0    0.00
PARENT                                    0   0.00        0   0.00    0    0.00
--------------------------------- --------- ------ -------- ------ ---- -------
Sum                                    1490 100.00 40522955 100.00   36    0.73

# Outgoing requests by destination
neighbor type                      request      %    Byte       %   sec  kB/sec
--------------------------------- --------- ------ -------- ------ ---- -------
DIRECT                                 1490 100.00 40522955 100.00   36    0.73
--------------------------------- --------- ------ -------- ------ ---- -------
Sum                                    1490 100.00 40522955 100.00   36    0.73

# Request-destinations by 2nd-level-domain
destination                              request      %    Byte       %   hit-%
--------------------------------------- --------- ------ -------- ------ ------
*.google.com                                  183  12.22  5137751  12.67   0.00
*.google.co.th                                118   7.88  1308421   3.23   0.00
192.168.1.*                                   114   7.61   708449   1.75   0.00
<error>                                        81   5.41   259165   0.64   0.00
*.fbcdn.net                                    62   4.14  1082559   2.67   0.00
*.facebook.com                                 50   3.34   422520   1.04   0.00
*.susethailand.com                             40   2.67   273521   0.67   0.00
*.paypal.com                                   27   1.80    19337   0.05   0.00
*.google-analytics.com                         27   1.80    47137   0.12   0.00
other: 100 2nd-level-domains                  429  28.64  2796487   6.90   0.00
--------------------------------------- --------- ------ -------- ------ ------
Sum                                          1498 100.00 40551004 100.00   0.00

# Request-destinations by toplevel-domain
destination                              request      %    Byte       %   hit-%
--------------------------------------- --------- ------ -------- ------ ------
*.com                                         751  50.13  9612286  23.70   0.00
*.net                                         303  20.23 28205394  69.56   0.00
*.th                                          136   9.08  1339870   3.30   0.00
<unresolved>                                  126   8.41   714141   1.76   0.00
<error>                                        81   5.41   259165   0.64   0.00
*.org                                          79   5.27   297589   0.73   0.00
*.fm                                           12   0.80   111143   0.27   0.00
*.info                                          7   0.47     3559   0.01   0.00
*.ly                                            1   0.07      646   0.00   0.00
*.tv                                            1   0.07      472   0.00   0.00
*.de                                            1   0.07     6739   0.02   0.00
--------------------------------------- --------- ------ -------- ------ ------
Sum                                          1498 100.00 40551004 100.00   0.00

# TCP-Request-protocol
protocol                                 request      %    Byte       %   hit-%
--------------------------------------- --------- ------ -------- ------ ------
http:                                        1135  75.77 30320127  74.77   0.00
<secure>                                      282  18.83  9971712  24.59   0.00
<error>                                        81   5.41   259165   0.64   0.00
--------------------------------------- --------- ------ -------- ------ ------
Sum                                          1498 100.00 40551004 100.00   0.00

# Requested content-type
content-type                             request      %    Byte       %   hit-%
--------------------------------------- --------- ------ -------- ------ ------
text/html                                     294  19.63  1496485   3.69   0.00
<secure>                                      282  18.83  9971712  24.59   0.00
image/gif                                     221  14.75   352111   0.87   0.00
<unknown>                                     163  10.88    56510   0.14   0.00
image/png                                     122   8.14   538690   1.33   0.00
text/javascript                               104   6.94   326536   0.81   0.00
<error>                                        81   5.41   259165   0.64   0.00
application/x-javascript                       51   3.40   775065   1.91   0.00
image/jpeg                                     39   2.60   361328   0.89   0.00
text/css                                       33   2.20   505092   1.25   0.00
text/plain                                     32   2.14    25989   0.06   0.00
application/xml                                18   1.20    30608   0.08   0.00
application/javascript                         15   1.00    31779   0.08   0.00
application/x-shockwave-flash                  14   0.93   725024   1.79   0.00
image/x-icon                                    9   0.60    40608   0.10   0.00
text/x-js                                       6   0.40   108139   0.27   0.00
application/json                                3   0.20     1861   0.00   0.00
application/x-amf                               3   0.20     9608   0.02   0.00
text/xml                                        2   0.13     1837   0.00   0.00
video/x-flv                                     2   0.13 24912671  61.44   0.00
other: 3 content-types                          4   0.27    20186   0.05   0.00
--------------------------------------- --------- ------ -------- ------ ------
Sum                                          1498 100.00 40551004 100.00   0.00

# Requested extensions
extensions                               request      %    Byte       %   hit-%
--------------------------------------- --------- ------ -------- ------ ------
<dynamic>                                     637  42.52 27095245  66.82   0.00
<secure>                                      282  18.83  9971712  24.59   0.00
png                                           116   7.74   355342   0.88   0.00
js                                            103   6.88   756023   1.86   0.00
gif                                           103   6.88   159566   0.39   0.00
<error>                                        81   5.41   259165   0.64   0.00
css                                            47   3.14   370226   0.91   0.00
<none>                                         44   2.94   607594   1.50   0.00
jpg                                            26   1.74   290711   0.72   0.00
ico                                            13   0.87    65252   0.16   0.00
swf                                            10   0.67   383277   0.95   0.00
jpeg                                            9   0.60    62943   0.16   0.00
xml                                             8   0.53    15741   0.04   0.00
php                                             7   0.47    78390   0.19   0.00
html                                            7   0.47    62509   0.15   0.00
com                                             3   0.20     2559   0.01   0.00
txt                                             1   0.07     3601   0.01   0.00
shtml                                           1   0.07    11148   0.03   0.00
--------------------------------------- --------- ------ -------- ------ ------
Sum                                          1498 100.00 40551004 100.00   0.00

# Incoming UDP-requests by host
no matching requests              

# Incoming TCP-requests by host
host                               request   hit-%   Byte    hit-% sec   kB/sec
--------------------------------- --------- ------ -------- ------ ---- -------
bcserit01                              1498   0.00 40551004   0.00   36    0.73
--------------------------------- --------- ------ -------- ------ ---- -------
Sum                                    1498   0.00 40551004   0.00   36    0.73

# Distribution Histogram
object-size (bytes)                request   hit-%   Byte    hit-% sec   kB/sec
--------------------------------- --------- ------ -------- ------ ---- -------
0-0                                      28   0.00        0   0.00    2    0.00
100-999                                 766   0.00   403809   0.00    3    0.15
1000-9999                               489   0.00  1613469   0.00   36    0.09
10000-99999                             190   0.00  5764486   0.00  135    0.22
100000-999999                            22   0.00  5183453   0.00  324    0.71
1000000-9999999                           2   0.00  3821440   0.00  394    4.74
10000000-99999999                         1   0.00 23764347   0.00  125  185.04
--------------------------------- --------- ------ -------- ------ ---- -------
Sum                                    1498   0.00 40551004   0.00   36    0.73

# Performance in 1 hour steps
                                incomin    hit    miss   direct sibling  fetch  
date             request   Byte  kB/sec  kB/sec  kB/sec  kB/sec  kB/sec  kB/sec
--------------- --------- ----- ------- ------- ------- ------- ------- -------
24.May 12 15:00       100  450K    0.43     -      0.43    0.43     -       -  
24.May 12 16:00       816   28M    1.92     -      1.91    1.91     -       -  
24.May 12 17:00       246 1592K    0.17     -      0.17    0.17     -       -  
24.May 12 18:00        65  252K    0.03     -      0.03    0.03     -       -  
25.May 12 09:00       269 8650K    0.43     -      0.43    0.43     -       -  
25.May 12 14:00         2 31159   15.82     -     15.82   15.82     -       -  
--------------- --------- ----- ------- ------- ------- ------- ------- -------
overall              1498   39M    0.73     -      0.73    0.73     -       -  


- สร้างรายงานออกมาในรูปแบบ txt ไฟล์

โค๊ด:
cat access.log | calamaris -a -o access_stats.txt


- สร้างรายงานออกมาในรูปแบบกราฟ

โค๊ด:
calamaris -a -F html /var/log/squid/access.log > /srv/www/htdocs/calamaris.html

เปิด web browser ที่ URL: <IP address>/calamaris.html


- ติดตั้ง calamaris 2.99.4.0 (RPM)

ผม buil packages สำหรับดิสโทรซูเซไว้ที่ลิงก์ด้านล่าง สามารถเพิ่ม repository หรือจะดาวน์โหลดเฉพาะไฟล์ rpm มาติดตั้งได้

http://download.opensuse.org/repositories/home:/susethailand

โค๊ด:
cat access.log | calamaris -a --output-file access_stats.html -F html,graph --output-path ./stats/

รายงานสถิติจาก log ของ Squid นั้น ยังไม่สามารถสร้างกราฟได้

ERROR: defined(%hash) is deprecated at /usr/bin/calamaris line 2357.
   (Maybe you should just omit the defined()?)
/usr/bin/calamaris: Couldn't load package calamaris::calBars3d,
  maybe it is not installed: No such file or directory


TIP: ต้องติดตั้ง perl โมดูล  

- ติดตั้ง perl โมดูล

ไปที่ YaST Control Center > Software Management

- perl-GD
- perl-GDGraph
- perl-Graph


โค๊ด:
perl -e "use calamaris::calBars3d"

โค๊ด:
Can't locate calamaris/calBars3d.pm in @INC (@INC contains: /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi /usr/lib/perl5/site_perl/5.14.2 /usr/lib/perl5/vendor_perl/5.14.2/i586-linux-thread-multi /usr/lib/perl5/vendor_perl/5.14.2 /usr/lib/perl5/5.14.2/i586-linux-thread-multi /usr/lib/perl5/5.14.2 /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi /usr/lib/perl5/site_perl/5.14.2 /usr/lib/perl5/site_perl .) at -e line 1.
BEGIN failed--compilation aborted at -e line 1.


- ติดตั้ง perl โมดูลสำหรับ calamaris

ดาวน์โหลด http://fossies.org/unix/www/calamaris-2.99.4.0.tar.gz:a/calamaris-2.99.4.0/<filename.pm>


- สร้างไดเรกทอรี

โค๊ด:
mkdir /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi/calamaris/


- คัดลอกไฟล์ calBars3d.pm ไปยังไดเรกทอรี perl

โค๊ด:
cp calBars3d.pm /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi/

ERROR:
โค๊ด:
perl -e "use calamaris::calBars3d"
Can't locate calamaris/calAxestype3d.pm in @INC (@INC contains: /usr/local /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi /usr/lib/perl5/site_perl/5.14.2 /usr/lib/perl5/vendor_perl/5.14.2/i586-linux-thread-multi /usr/lib/perl5/vendor_perl/5.14.2 /usr/lib/perl5/5.14.2/i586-linux-thread-multi /usr/lib/perl5/5.14.2 /usr/lib/perl5/site_perl .) at /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi/calamaris/calBars3d.pm line 43.
BEGIN failed--compilation aborted at /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi/calamaris/calBars3d.pm line 43.
Compilation failed in require at -e line 1.
BEGIN failed--compilation aborted at -e line 1.


- คัดลอกไฟล์ calAxestype3d.pm ไปยังไดเรกทอรี perl

โค๊ด:
cp calAxestype3d.pm /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi/calamaris/


- คัดลอกไฟล์ calAxestype.pm ไปยังไดเรกทอรี perl

โค๊ด:
cp calAxestype.pm /usr/lib/perl5/site_perl/5.14.2/i586-linux-thread-multi/calamaris/


ERROR:
โค๊ด:
defined(%hash) is deprecated at /usr/bin/calamaris line 2357.
(Maybe you should just omit the defined()?)
Use of uninitialized value in concatenation (.) or string at /usr/bin/calamaris line 4083, <> line 3950.
Use of uninitialized value in concatenation (.) or string at /usr/bin/calamaris line 4115, <> line 3950.
Use of uninitialized value in concatenation (.) or string at /usr/bin/calamaris line 4115, <> line 3950.
Can't call method "png" on an undefined value at /usr/bin/calamaris line 4128, <> line 3950.


ต้องติดตั้งแพคเกจ patch ก่อน (YaST > Software Management)

ดาวน์โหลด
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=501396

โค๊ด:
patch -p1 < calamaris-graph.patch

--------------------------
|--- /usr/bin/calamaris.orig   2009-01-28 10:40:45.000000000 +0700
|+++ /usr/bin/calamaris   2009-01-28 11:34:48.000000000 +0700
--------------------------
File to patch: /usr/bin/calamaris
patching file /usr/bin/calamaris


- คัดลอกไฟล์ไปยังเว็บเซิร์ฟเวอร์

โค๊ด:
cp -r stats /srv/www/htdocs/


- ดูรายงานผ่าน web browser

http://IP address/stats/access_stats.html


- ตัวอย่างกราฟรายงาน



Incoming requests by method



Incoming TCP-requests by status



Outgoing requests by status



Request-destinations by 2nd-level-domain



Request-destinations by toplevel-domain



TCP-Request-protocol



Requested content-type



Size Distribution Diagram




เป็นอันเสร็จ นี้เป็นเพียงรายงานบางส่วนครับ
« แก้ไขครั้งสุดท้าย: พฤษภาคม 28, 2012, 04:10:22 PM โดย Sontaya » แจ้งลบกระทู้นี้หรือติดต่อผู้ดูแล   บันทึกการเข้า

ageLOC Technology
หน้า: [1]   ขึ้นบน
  พิมพ์  
 
กระโดดไป:  

(@)2007 SUSE Linux user community found in Thailand. This site is not an official openSUSE and SUSE website, and is not in any way affiliated with or endorsed by SUSE Linux GmbH or Novell. openSUSE and SUSE are trademarks of Novell, Inc. in the United States and other countries.
Powered by MySQL Powered by PHP Powered by SMF 1.1.21 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!
หน้านี้ถูกสร้างขึ้นภายในเวลา 0.04 วินาที กับ 20 คำสั่ง (Pretty URLs adds 0.007s, 2q)