[Ocfs2-users] High memory usage
Kushnir, Michael (NIH/NLM/LHC) [C]
michael.kushnir at nih.gov
Thu Dec 15 09:57:20 PST 2011
Please see output of /proc/meminfo and /proc/slabinfo below.
Thanks,
Michael
[root at lhce-imed-worknode9 ~]# cat /proc/meminfo
MemTotal: 24736808 kB
MemFree: 127908 kB
Buffers: 3785348 kB
Cached: 1867964 kB
SwapCached: 0 kB
Active: 2960804 kB
Inactive: 2839820 kB
Active(anon): 139164 kB
Inactive(anon): 15652 kB
Active(file): 2821640 kB
Inactive(file): 2824168 kB
Unevictable: 7044 kB
Mlocked: 7044 kB
SwapTotal: 50330612 kB
SwapFree: 50330612 kB
Dirty: 5672 kB
Writeback: 0 kB
AnonPages: 154880 kB
Mapped: 20528 kB
Shmem: 2688 kB
Slab: 2582560 kB
SReclaimable: 1431524 kB
SUnreclaim: 1151036 kB
KernelStack: 2032 kB
PageTables: 19556 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 62699016 kB
Committed_AS: 429756 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 339876 kB
VmallocChunk: 34359382432 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 10240 kB
DirectMap2M: 25155584 kB
[root at lhce-imed-worknode9 ~]# cat /proc/slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
ocfs2_qf_chunk_cache 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
ocfs2_dquot_cache 0 0 320 12 1 : tunables 54 27 8 : slabdata 0 0 0
ocfs2_inode_cache 387826 387826 1984 2 1 : tunables 24 12 8 : slabdata 193913 193913 0
ocfs2_uptodate 11866 38192 32 112 1 : tunables 120 60 8 : slabdata 341 341 0
dm_mpath_io 667 1010 16 202 1 : tunables 120 60 8 : slabdata 5 5 0
dlmfs_inode_cache 1 4 832 4 1 : tunables 54 27 8 : slabdata 1 1 0
o2dlm_lock 1132576 1132980 128 30 1 : tunables 120 60 8 : slabdata 37766 37766 0
o2dlm_lockname 1134704 1135904 32 112 1 : tunables 120 60 8 : slabdata 10142 10142 120
o2dlm_lockres 1134313 1135728 320 12 1 : tunables 54 27 8 : slabdata 94644 94644 0
o2dlm_mle 108 130 384 10 1 : tunables 54 27 8 : slabdata 13 13 0
configfs_dir_cache 96 132 88 44 1 : tunables 120 60 8 : slabdata 3 3 0
iser_descriptors 0 0 320 12 1 : tunables 54 27 8 : slabdata 0 0 0
ib_mad 0 0 448 8 1 : tunables 54 27 8 : slabdata 0 0 0
fib6_nodes 2 59 64 59 1 : tunables 120 60 8 : slabdata 1 1 0
ip6_dst_cache 4 12 320 12 1 : tunables 54 27 8 : slabdata 1 1 0
ndisc_cache 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
ip6_mrt_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
RAWv6 11 12 1024 4 1 : tunables 54 27 8 : slabdata 3 3 0
UDPLITEv6 0 0 960 4 1 : tunables 54 27 8 : slabdata 0 0 0
UDPv6 1 4 960 4 1 : tunables 54 27 8 : slabdata 1 1 0
tw_sock_TCPv6 0 0 320 12 1 : tunables 54 27 8 : slabdata 0 0 0
request_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0
TCPv6 0 0 1792 2 1 : tunables 24 12 8 : slabdata 0 0 0
scsi_sense_cache 450 450 128 30 1 : tunables 120 60 8 : slabdata 15 15 0
scsi_cmd_cache 405 405 256 15 1 : tunables 120 60 8 : slabdata 27 27 0
iint_cache 393008 393024 120 32 1 : tunables 120 60 8 : slabdata 12282 12282 0
flow_cache 0 0 96 40 1 : tunables 120 60 8 : slabdata 0 0 0
dm_raid1_read_record 0 0 1064 7 2 : tunables 24 12 8 : slabdata 0 0 0
dm_snap_tracked_chunk 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0
dm_snap_pending_exception 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0
dm_snap_exception 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
kcopyd_job 0 0 368 10 1 : tunables 54 27 8 : slabdata 0 0 0
dm_uevent 0 0 2608 3 2 : tunables 24 12 8 : slabdata 0 0 0
dm_rq_clone_bio_info 900 1616 16 202 1 : tunables 120 60 8 : slabdata 8 8 144
dm_rq_target_io 646 690 376 10 1 : tunables 54 27 8 : slabdata 69 69 13
dm_target_io 382 432 24 144 1 : tunables 120 60 8 : slabdata 3 3 0
dm_io 344 368 40 92 1 : tunables 120 60 8 : slabdata 4 4 0
uhci_urb_priv 0 0 56 67 1 : tunables 120 60 8 : slabdata 0 0 0
sd_ext_cdb 2 112 32 112 1 : tunables 120 60 8 : slabdata 1 1 0
cfq_io_context 0 0 168 23 1 : tunables 120 60 8 : slabdata 0 0 0
cfq_queue 0 0 168 23 1 : tunables 120 60 8 : slabdata 0 0 0
bsg_cmd 0 0 312 12 1 : tunables 54 27 8 : slabdata 0 0 0
mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8 : slabdata 1 1 0
isofs_inode_cache 0 0 640 6 1 : tunables 54 27 8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54 27 8 : slabdata 1 1 0
jbd2_journal_handle 47 144 24 144 1 : tunables 120 60 8 : slabdata 1 1 0
jbd2_journal_head 1202 1428 112 34 1 : tunables 120 60 8 : slabdata 42 42 84
jbd2_revoke_table 4 202 16 202 1 : tunables 120 60 8 : slabdata 1 1 0
jbd2_revoke_record 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
journal_handle 32 144 24 144 1 : tunables 120 60 8 : slabdata 1 1 0
journal_head 146 170 112 34 1 : tunables 120 60 8 : slabdata 5 5 0
revoke_table 4 202 16 202 1 : tunables 120 60 8 : slabdata 1 1 0
revoke_record 16 112 32 112 1 : tunables 120 60 8 : slabdata 1 1 0
ext4_inode_cache 0 0 976 4 1 : tunables 54 27 8 : slabdata 0 0 0
ext4_xattr 0 0 88 44 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_free_block_extents 0 0 56 67 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_alloc_context 0 0 144 27 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_prealloc_space 0 0 104 37 1 : tunables 120 60 8 : slabdata 0 0 0
ext4_system_zone 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0
ext3_inode_cache 2671 2675 800 5 1 : tunables 54 27 8 : slabdata 535 535 0
ext3_xattr 77 176 88 44 1 : tunables 120 60 8 : slabdata 4 4 0
dquot 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
kioctx 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0
kiocb 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
inotify_event_private_data 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
inotify_inode_mark_entry 40 102 112 34 1 : tunables 120 60 8 : slabdata 3 3 0
dnotify_mark_entry 2 34 112 34 1 : tunables 120 60 8 : slabdata 1 1 0
dnotify_struct 2 112 32 112 1 : tunables 120 60 8 : slabdata 1 1 0
fasync_cache 1 144 24 144 1 : tunables 120 60 8 : slabdata 1 1 0
ksm_mm_slot 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
ksm_stable_node 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0
ksm_rmap_item 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
pid_namespace 0 0 2112 3 2 : tunables 24 12 8 : slabdata 0 0 0
nsproxy 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
posix_timers_cache 0 0 176 22 1 : tunables 120 60 8 : slabdata 0 0 0
uid_cache 5 30 128 30 1 : tunables 120 60 8 : slabdata 1 1 0
UNIX 321 335 768 5 1 : tunables 54 27 8 : slabdata 67 67 0
ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
UDP-Lite 0 0 832 9 2 : tunables 54 27 8 : slabdata 0 0 0
tcp_bind_bucket 31 59 64 59 1 : tunables 120 60 8 : slabdata 1 1 0
inet_peer_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
secpath_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0
ip_fib_alias 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
ip_fib_hash 14 53 72 53 1 : tunables 120 60 8 : slabdata 1 1 0
ip_dst_cache 139 140 384 10 1 : tunables 54 27 8 : slabdata 14 14 0
arp_cache 16 30 256 15 1 : tunables 120 60 8 : slabdata 2 2 0
RAW 9 10 768 5 1 : tunables 54 27 8 : slabdata 2 2 0
UDP 9 18 832 9 2 : tunables 54 27 8 : slabdata 2 2 0
tw_sock_TCP 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
request_sock_TCP 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
TCP 23 24 1664 4 2 : tunables 24 12 8 : slabdata 6 6 0
eventpoll_pwq 0 0 72 53 1 : tunables 120 60 8 : slabdata 0 0 0
eventpoll_epi 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
sgpool-128 3 3 4096 1 1 : tunables 24 12 8 : slabdata 3 3 0
sgpool-64 3 4 2048 2 1 : tunables 24 12 8 : slabdata 2 2 0
sgpool-32 3 4 1024 4 1 : tunables 54 27 8 : slabdata 1 1 0
sgpool-16 21 24 512 8 1 : tunables 54 27 8 : slabdata 3 3 0
sgpool-8 375 375 256 15 1 : tunables 120 60 8 : slabdata 25 25 0
scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0
blkdev_integrity 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0
blkdev_queue 34 36 2256 3 2 : tunables 24 12 8 : slabdata 12 12 0
blkdev_requests 275 330 336 11 1 : tunables 54 27 8 : slabdata 30 30 37
blkdev_ioc 9 48 80 48 1 : tunables 120 60 8 : slabdata 1 1 0
fsnotify_event_holder 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0
fsnotify_event 0 0 104 37 1 : tunables 120 60 8 : slabdata 0 0 0
bio-0 1390 1800 192 20 1 : tunables 120 60 8 : slabdata 90 90 384
biovec-256 530 530 4096 1 1 : tunables 24 12 8 : slabdata 530 530 0
biovec-128 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0
biovec-64 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0
biovec-16 53 60 256 15 1 : tunables 120 60 8 : slabdata 4 4 0
biovec-4 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
biovec-1 0 0 16 202 1 : tunables 120 60 8 : slabdata 0 0 0
bip-256 2 2 4224 1 2 : tunables 8 4 0 : slabdata 2 2 0
bip-128 0 0 2176 3 2 : tunables 24 12 8 : slabdata 0 0 0
bip-64 0 0 1152 7 2 : tunables 24 12 8 : slabdata 0 0 0
bip-16 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0
bip-4 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0
bip-1 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
sock_inode_cache 409 410 704 5 1 : tunables 54 27 8 : slabdata 82 82 0
skbuff_fclone_cache 193 231 512 7 1 : tunables 54 27 8 : slabdata 33 33 27
skbuff_head_cache 875 1080 256 15 1 : tunables 120 60 8 : slabdata 72 72 30
file_lock_cache 21 66 176 22 1 : tunables 120 60 8 : slabdata 3 3 0
net_namespace 0 0 2112 3 2 : tunables 24 12 8 : slabdata 0 0 0
shmem_inode_cache 819 840 800 5 1 : tunables 54 27 8 : slabdata 168 168 0
Acpi-Operand 6866 7102 72 53 1 : tunables 120 60 8 : slabdata 134 134 0
Acpi-ParseExt 1 53 72 53 1 : tunables 120 60 8 : slabdata 1 1 0
Acpi-Parse 1 77 48 77 1 : tunables 120 60 8 : slabdata 1 1 0
Acpi-State 1 48 80 48 1 : tunables 120 60 8 : slabdata 1 1 0
Acpi-Namespace 6072 6160 32 112 1 : tunables 120 60 8 : slabdata 55 55 0
task_delay_info 286 884 112 34 1 : tunables 120 60 8 : slabdata 26 26 0
taskstats 5 36 328 12 1 : tunables 54 27 8 : slabdata 3 3 0
proc_inode_cache 969 1020 640 6 1 : tunables 54 27 8 : slabdata 170 170 0
sigqueue 54 72 160 24 1 : tunables 120 60 8 : slabdata 3 3 0
radix_tree_node 801658 801913 552 7 1 : tunables 54 27 8 : slabdata 114559 114559 0
bdev_cache 38 48 832 4 1 : tunables 54 27 8 : slabdata 12 12 0
sysfs_dir_cache 11577 11616 80 48 1 : tunables 120 60 8 : slabdata 242 242 0
mnt_cache 29 60 256 15 1 : tunables 120 60 8 : slabdata 4 4 0
filp 3506 4020 192 20 1 : tunables 120 60 8 : slabdata 201 201 0
inode_cache 3813 3984 592 6 1 : tunables 54 27 8 : slabdata 664 664 0
dentry 213956 213960 192 20 1 : tunables 120 60 8 : slabdata 10698 10698 0
names_cache 38 38 4096 1 1 : tunables 24 12 8 : slabdata 38 38 0
avc_node 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
selinux_inode_security 3790 4505 72 53 1 : tunables 120 60 8 : slabdata 85 85 0
key_jar 4 20 192 20 1 : tunables 120 60 8 : slabdata 1 1 0
buffer_head 1132086 1382616 104 37 1 : tunables 120 60 8 : slabdata 37368 37368 24
vm_area_struct 8783 9051 184 21 1 : tunables 120 60 8 : slabdata 431 431 0
mm_struct 107 144 896 4 1 : tunables 54 27 8 : slabdata 36 36 0
fs_cache 97 649 64 59 1 : tunables 120 60 8 : slabdata 11 11 0
files_cache 98 264 704 11 2 : tunables 54 27 8 : slabdata 24 24 0
signal_cache 257 312 1024 4 1 : tunables 54 27 8 : slabdata 78 78 0
sighand_cache 253 285 2112 3 2 : tunables 24 12 8 : slabdata 95 95 0
task_xstate 112 216 512 8 1 : tunables 54 27 8 : slabdata 27 27 0
task_struct 256 256 5952 1 2 : tunables 8 4 0 : slabdata 256 256 0
cred_jar 503 1520 192 20 1 : tunables 120 60 8 : slabdata 76 76 0
anon_vma_chain 4598 7007 48 77 1 : tunables 120 60 8 : slabdata 91 91 0
anon_vma 4004 4608 24 144 1 : tunables 120 60 8 : slabdata 32 32 0
pid 285 780 128 30 1 : tunables 120 60 8 : slabdata 26 26 0
shared_policy_node 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0
numa_policy 7 28 136 28 1 : tunables 120 60 8 : slabdata 1 1 0
idr_layer_cache 1029 1029 544 7 1 : tunables 54 27 8 : slabdata 147 147 0
size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0
size-4194304 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0
size-2097152(DMA) 0 0 2097152 1 512 : tunables 1 1 0 : slabdata 0 0 0
size-2097152 192 192 2097152 1 512 : tunables 1 1 0 : slabdata 192 192 0
size-1048576(DMA) 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0
size-1048576 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0
size-524288(DMA) 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0
size-524288 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0
size-262144(DMA) 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0
size-262144 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0
size-131072 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0
size-65536 1 1 65536 1 16 : tunables 8 4 0 : slabdata 1 1 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0
size-32768 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0
size-16384 15 15 16384 1 4 : tunables 8 4 0 : slabdata 15 15 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0
size-8192 7 7 8192 1 2 : tunables 8 4 0 : slabdata 7 7 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0
size-4096 628 663 4096 1 1 : tunables 24 12 8 : slabdata 628 663 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0
size-2048 417 424 2048 2 1 : tunables 24 12 8 : slabdata 212 212 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0
size-1024 1669 1692 1024 4 1 : tunables 54 27 8 : slabdata 423 423 54
size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0
size-512 203677 203728 512 8 1 : tunables 54 27 8 : slabdata 25466 25466 0
size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0
size-256 378 465 256 15 1 : tunables 120 60 8 : slabdata 31 31 0
size-192(DMA) 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0
size-192 1454 1500 192 20 1 : tunables 120 60 8 : slabdata 75 75 0
size-128(DMA) 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0
size-64(DMA) 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0
size-64 11005 15340 64 59 1 : tunables 120 60 8 : slabdata 260 260 0
size-32(DMA) 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0
size-128 27197 28230 128 30 1 : tunables 120 60 8 : slabdata 941 941 0
size-32 237979 260176 32 112 1 : tunables 120 60 8 : slabdata 2323 2323 4
kmem_cache 199 199 2176 1 1 : tunables 24 12 8 : slabdata 199 199 0
From: Herbert van den Bergh [mailto:herbert.van.den.bergh at oracle.com]
Sent: Monday, December 12, 2011 1:04 PM
To: Kushnir, Michael (NIH/NLM/LHC) [C]
Cc: ocfs2-users at oss.oracle.com
Subject: Re: [Ocfs2-users] High memory usage
Please post the output of: cat /proc/meminfo /proc/slabinfo
Thanks,
Herbert.
On 12/12/11 9:58 AM, Kushnir, Michael (NIH/NLM/LHC) [C] wrote:
Good afternoon,
We just deployed our OCFS2 1.4 across 10 nodes. When we run a java process with lots of file creates and updates, I see the system RAM fill up and the system start swapping heavily.
I've tried to counter by running "sync; echo 3 > /proc/sys/vm/dropcaches" with practically no effect. I've also set swappiness to 0 using "echo 0 > /proc/sys/vm/swappiness". But neither helps. I see RAM usage increase until it is completely full.
Once I kill my process that is creating files, the resident memory that is used by that process is returned, but the other memory (held by whatever is mysteriously filling up my RAM, I think OCFS2) is not returned.
I am running RHEL 5.7. I've tried the stock RHEL kernel and UEK from Oracle. I've ruled out java memory leaks. I do not see the same problem in a system running the same process on a local file system. This makes me think it is OCFS2 causing my problem.
Please let me know if I can tune the FS to make this stop.
Thanks,
Michael
_______________________________________________
Ocfs2-users mailing list
Ocfs2-users at oss.oracle.com<mailto:Ocfs2-users at oss.oracle.com>
http://oss.oracle.com/mailman/listinfo/ocfs2-users
-------------- next part --------------
An HTML attachment was scrubbed...
URL: http://oss.oracle.com/pipermail/ocfs2-users/attachments/20111215/d0e251c2/attachment-0001.html
More information about the Ocfs2-users
mailing list