[Ocfs2-users] ocfs2 hangs during webserver usage
Stephan Hendl
Stephan.Hendl at lds.brandenburg.de
Sat Apr 21 04:04:13 PDT 2007
Hi all,
the last days I often got the problem that apache webservers running on a 4 node ocfs2 cluster with rhel4 (2.6.9-42.0.10.ELsmp) and ocfs2-1.2.5 got hanging ... The webservers are triggerd by a lvs load balancer. Three of the 4 nodes are answering the webserverrequests while on node is a socalled "administrative" node where new webserver data are sent to and so on.
The most of the requests are read requests, only a few like php session files etc. are write requests. The slabinfo and meminfo are shown below. Once the filesystem hangs (nothing is reported in the messages file) there are many lockres entries in the debugfs output:
54331 lockres lines (27165 times "M", 27164 times D, 0 time "W", 1 time "R" and 1 time "S")
Aafter rebooting he whole cluster there are 2845 lockres line only. How can I debug the problem in a more detailed way? We also habe theharmless ocfs2_file_sendfile errors "-104" and "-32" - sometime 5 to 10 times in a minute. The SAN devices are connected via device-mapper-multipath with no errors in the logfile.
Since the swap space isn't used at any time I don't think that it could be a memory leak...
Regards
Stephan
slabinfo - version: 2.0
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
fib6_nodes 7 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0
ip6_dst_cache 7 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0
ndisc_cache 1 20 192 20 1 : tunables 120 60 8 : slabdata 1 1 0
rawv6_sock 6 11 704 11 2 : tunables 54 27 8 : slabdata 1 1 0
udpv6_sock 1 11 704 11 2 : tunables 54 27 8 : slabdata 1 1 0
tcpv6_sock 803 804 1216 3 1 : tunables 24 12 8 : slabdata 268 268 0
ocfs2_lock 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0
ocfs2_inode_cache 28659 39576 896 4 1 : tunables 54 27 8 : slabdata 9894 9894 0
ocfs2_uptodate 692 1071 32 119 1 : tunables 120 60 8 : slabdata 9 9 0
ocfs2_em_ent 25652 38735 64 61 1 : tunables 120 60 8 : slabdata 635 635 0
dlmfs_inode_cache 1 7 576 7 1 : tunables 54 27 8 : slabdata 1 1 0
dlm_mle_cache 0 0 320 12 1 : tunables 54 27 8 : slabdata 0 0 0
ip_fib_alias 15 226 16 226 1 : tunables 120 60 8 : slabdata 1 1 0
ip_fib_hash 15 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0
dm_mpath 771 810 28 135 1 : tunables 120 60 8 : slabdata 6 6 0
ext3_inode_cache 237241 239554 552 7 1 : tunables 54 27 8 : slabdata 34222 34222 0
ext3_xattr 0 0 48 81 1 : tunables 120 60 8 : slabdata 0 0 0
journal_handle 20 135 28 135 1 : tunables 120 60 8 : slabdata 1 1 0
journal_head 263 648 48 81 1 : tunables 120 60 8 : slabdata 8 8 0
revoke_table 14 290 12 290 1 : tunables 120 60 8 : slabdata 1 1 0
revoke_record 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0
dm_tio 1335 1582 16 226 1 : tunables 120 60 8 : slabdata 7 7 0
dm_io 1334 1480 20 185 1 : tunables 120 60 8 : slabdata 8 8 0
scsi_cmd_cache 8 20 384 10 1 : tunables 54 27 8 : slabdata 2 2 0
qla2xxx_srbs 263 310 128 31 1 : tunables 120 60 8 : slabdata 10 10 0
sgpool-128 32 33 2560 3 2 : tunables 24 12 8 : slabdata 11 11 0
sgpool-64 32 33 1280 3 1 : tunables 24 12 8 : slabdata 11 11 0
sgpool-32 32 36 640 6 1 : tunables 54 27 8 : slabdata 6 6 0
sgpool-16 32 36 320 12 1 : tunables 54 27 8 : slabdata 3 3 0
sgpool-8 35 60 192 20 1 : tunables 120 60 8 : slabdata 3 3 0
unix_sock 102 140 512 7 1 : tunables 54 27 8 : slabdata 20 20 0
ip_mrt_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0
tcp_tw_bucket 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0
tcp_bind_bucket 172 904 16 226 1 : tunables 120 60 8 : slabdata 4 4 0
tcp_open_request 657 682 128 31 1 : tunables 120 60 8 : slabdata 22 22 0
inet_peer_cache 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0
secpath_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0
xfrm_dst_cache 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
ip_dst_cache 247 690 256 15 1 : tunables 120 60 8 : slabdata 46 46 0
arp_cache 11 40 192 20 1 : tunables 120 60 8 : slabdata 2 2 0
raw_sock 6 7 576 7 1 : tunables 54 27 8 : slabdata 1 1 0
udp_sock 31 35 576 7 1 : tunables 54 27 8 : slabdata 5 5 0
tcp_sock 385 413 1152 7 2 : tunables 24 12 8 : slabdata 59 59 0
flow_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0
mqueue_inode_cache 1 7 576 7 1 : tunables 54 27 8 : slabdata 1 1 0
relayfs_inode_cache 0 0 348 11 1 : tunables 54 27 8 : slabdata 0 0 0
isofs_inode_cache 0 0 372 10 1 : tunables 54 27 8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 11 344 11 1 : tunables 54 27 8 : slabdata 1 1 0
ext2_inode_cache 0 0 488 8 1 : tunables 54 27 8 : slabdata 0 0 0
ext2_xattr 0 0 48 81 1 : tunables 120 60 8 : slabdata 0 0 0
dquot 0 0 144 27 1 : tunables 120 60 8 : slabdata 0 0 0
eventpoll_pwq 750 856 36 107 1 : tunables 120 60 8 : slabdata 8 8 0
eventpoll_epi 750 775 128 31 1 : tunables 120 60 8 : slabdata 25 25 0
kioctx 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0
kiocb 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0
dnotify_cache 1 185 20 185 1 : tunables 120 60 8 : slabdata 1 1 0
fasync_cache 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0
shmem_inode_cache 293 324 444 9 1 : tunables 54 27 8 : slabdata 36 36 0
posix_timers_cache 0 0 112 35 1 : tunables 120 60 8 : slabdata 0 0 0
uid_cache 5 61 64 61 1 : tunables 120 60 8 : slabdata 1 1 0
cfq_pool 64 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0
crq_pool 0 0 40 96 1 : tunables 120 60 8 : slabdata 0 0 0
deadline_drq 179 375 52 75 1 : tunables 120 60 8 : slabdata 5 5 0
as_arq 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0
blkdev_ioc 194 370 20 185 1 : tunables 120 60 8 : slabdata 2 2 0
blkdev_queue 44 64 488 8 1 : tunables 54 27 8 : slabdata 8 8 0
blkdev_requests 208 250 160 25 1 : tunables 120 60 8 : slabdata 10 10 0
biovec-(256) 256 256 3072 2 2 : tunables 24 12 8 : slabdata 128 128 0
biovec-128 256 260 1536 5 2 : tunables 24 12 8 : slabdata 52 52 0
biovec-64 256 260 768 5 1 : tunables 54 27 8 : slabdata 52 52 0
biovec-16 256 260 192 20 1 : tunables 120 60 8 : slabdata 13 13 0
biovec-4 256 305 64 61 1 : tunables 120 60 8 : slabdata 5 5 0
biovec-1 462 678 16 226 1 : tunables 120 60 8 : slabdata 3 3 60
bio 431 527 128 31 1 : tunables 120 60 8 : slabdata 17 17 0
file_lock_cache 24 82 96 41 1 : tunables 120 60 8 : slabdata 2 2 0
sock_inode_cache 697 720 448 9 1 : tunables 54 27 8 : slabdata 80 80 0
skbuff_head_cache 2096 2160 192 20 1 : tunables 120 60 8 : slabdata 108 108 0
sock 7 20 384 10 1 : tunables 54 27 8 : slabdata 2 2 0
proc_inode_cache 1672 1672 360 11 1 : tunables 54 27 8 : slabdata 152 152 0
sigqueue 130 216 148 27 1 : tunables 120 60 8 : slabdata 8 8 0
radix_tree_node 119663 131250 276 14 1 : tunables 54 27 8 : slabdata 9375 9375 0
bdev_cache 33 42 512 7 1 : tunables 54 27 8 : slabdata 6 6 0
mnt_cache 35 93 128 31 1 : tunables 120 60 8 : slabdata 3 3 0
audit_watch_cache 0 0 48 81 1 : tunables 120 60 8 : slabdata 0 0 0
inode_cache 1112 1144 344 11 1 : tunables 54 27 8 : slabdata 103 104 0
dentry_cache 287138 307892 152 26 1 : tunables 120 60 8 : slabdata 11842 11842 0
filp 2427 2520 192 20 1 : tunables 120 60 8 : slabdata 126 126 0
names_cache 18 28 4096 1 1 : tunables 24 12 8 : slabdata 18 28 0
avc_node 12 600 52 75 1 : tunables 120 60 8 : slabdata 8 8 0
key_jar 10 31 128 31 1 : tunables 120 60 8 : slabdata 1 1 0
idr_layer_cache 101 116 136 29 1 : tunables 120 60 8 : slabdata 4 4 0
buffer_head 427352 706125 52 75 1 : tunables 120 60 8 : slabdata 9415 9415 0
mm_struct 211 330 704 11 2 : tunables 54 27 8 : slabdata 30 30 0
vm_area_struct 23032 23400 88 45 1 : tunables 120 60 8 : slabdata 520 520 52
fs_cache 211 488 64 61 1 : tunables 120 60 8 : slabdata 8 8 0
files_cache 207 306 448 9 1 : tunables 54 27 8 : slabdata 34 34 0
signal_cache 275 460 192 20 1 : tunables 120 60 8 : slabdata 22 23 0
sighand_cache 271 306 1344 3 1 : tunables 24 12 8 : slabdata 99 102 3
task_struct 395 425 1408 5 2 : tunables 24 12 8 : slabdata 85 85 0
anon_vma 1602 2034 16 226 1 : tunables 120 60 8 : slabdata 9 9 0
pgd 214 476 32 119 1 : tunables 120 60 8 : slabdata 4 4 0
pmd 630 669 4096 1 1 : tunables 24 12 8 : slabdata 630 669 16
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0
size-131072 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0
size-65536 2 2 65536 1 16 : tunables 8 4 0 : slabdata 2 2 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0
size-32768 5 5 32768 1 8 : tunables 8 4 0 : slabdata 5 5 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0
size-16384 7 7 16384 1 4 : tunables 8 4 0 : slabdata 7 7 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0
size-8192 15 15 8192 1 2 : tunables 8 4 0 : slabdata 15 15 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0
size-4096 443 450 4096 1 1 : tunables 24 12 8 : slabdata 443 450 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0
size-2048 574 576 2048 2 1 : tunables 24 12 8 : slabdata 288 288 0
size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 8 : slabdata 0 0 0
size-1620 40 40 1664 4 2 : tunables 24 12 8 : slabdata 10 10 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0
size-1024 389 392 1024 4 1 : tunables 54 27 8 : slabdata 98 98 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0
size-512 1966 2408 512 8 1 : tunables 54 27 8 : slabdata 301 301 0
size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
size-256 91976 104355 256 15 1 : tunables 120 60 8 : slabdata 6957 6957 0
size-128(DMA) 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0
size-128 95488 142910 128 31 1 : tunables 120 60 8 : slabdata 4610 4610 0
size-64(DMA) 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0
size-64 17868 27572 64 61 1 : tunables 120 60 8 : slabdata 452 452 0
size-32(DMA) 0 0 32 119 1 : tunables 120 60 8 : slabdata 0 0 0
size-32 96180 108171 32 119 1 : tunables 120 60 8 : slabdata 909 909 15
kmem_cache 165 165 256 15 1 : tunables 120 60 8 : slabdata 11 11 0
[root at wcl3 ~]# cat meminfo
MemTotal: 3984940 kB
MemFree: 93700 kB
Buffers: 256600 kB
Cached: 1886060 kB
SwapCached: 0 kB
Active: 2722236 kB
Inactive: 748132 kB
HighTotal: 3104728 kB
HighFree: 75712 kB
LowTotal: 880212 kB
LowFree: 17988 kB
SwapTotal: 3911816 kB
SwapFree: 3911656 kB
Dirty: 584 kB
Writeback: 0 kB
Mapped: 1365184 kB
Slab: 371708 kB
CommitLimit: 5904284 kB
Committed_AS: 4488308 kB
PageTables: 27328 kB
VmallocTotal: 106488 kB
VmallocUsed: 8620 kB
VmallocChunk: 97268 kB
HugePages_Total: 0
HugePages_Free: 0
Hugepagesize: 2048 kB
More information about the Ocfs2-users
mailing list