<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns:o = "urn:schemas-microsoft-com:office:office"><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<META content="MSHTML 6.00.2800.1561" name=GENERATOR></HEAD>
<BODY bgColor=#ffffff>
<DIV><FONT face=Arial size=2>Mount FS with datavolume option, if your version 
supports it.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Set up swapiness option in the kernel.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>And use this option in the Oracle:</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV>
<H2><FONT face="arial, helvetica, sans-serif" color=#330099><A id=REFRN10061 
name=REFRN10061></A>FILESYSTEMIO_OPTIONS<A id=sthref291 name=sthref291></A><A 
id=sthref292 name=sthref292></A></FONT></H2>
<DIV class=inftblInformal>
<TABLE class=Informal dir=ltr cellSpacing=0 cellPadding=3 rules=groups 
width="100%" summary="This table is described in the preceding text" border=1 
frame=hsides>
  <THEAD>
  <TR vAlign=top align=left>
    <TH id=r1c1-t136 vAlign=bottom align=left><FONT 
      face="Arial, Helvetica, sans-serif"><STRONG>Property</STRONG></FONT></TH>
    <TH id=r1c2-t136 vAlign=bottom align=left><FONT 
      face="Arial, Helvetica, sans-serif"><STRONG>Description</STRONG></FONT></TH></TR></THEAD>
  <TBODY>
  <TR vAlign=top align=left>
    <TD id=r2c1-t136 align=left headers=r1c1-t136><STRONG>Parameter 
      type</STRONG></TD>
    <TD align=left headers="r2c1-t136 r1c2-t136">String</TD></TR>
  <TR vAlign=top align=left>
    <TD id=r3c1-t136 align=left headers=r1c1-t136><STRONG>Syntax</STRONG></TD>
    <TD align=left headers="r3c1-t136 r1c2-t136"><CODE>FILESYSTEMIO_OPTIONS = 
      { none | setall | directIO | asynch }</CODE></TD></TR>
  <TR vAlign=top align=left>
    <TD id=r4c1-t136 align=left headers=r1c1-t136><STRONG>Default 
      value</STRONG></TD>
    <TD align=left headers="r4c1-t136 r1c2-t136">There is no default 
  value.</TD></TR>
  <TR vAlign=top align=left>
    <TD id=r5c1-t136 align=left 
    headers=r1c1-t136><STRONG>Modifiable</STRONG></TD>
    <TD align=left headers="r5c1-t136 r1c2-t136"><CODE>ALTER SESSION</CODE>, 
      <CODE>ALTER SYSTEM</CODE></TD></TR>
  <TR vAlign=top align=left>
    <TD id=r6c1-t136 align=left headers=r1c1-t136><STRONG>Basic</STRONG></TD>
    <TD align=left headers="r6c1-t136 r1c2-t136">No</TD></TR></TBODY></TABLE></DIV>
<DIV class=inftblInformal><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV class=inftblInformal><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV class=inftblInformal><FONT face=Arial size=2></FONT>&nbsp;</DIV></DIV>
<BLOCKQUOTE 
style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
  <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
  <DIV 
  style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
  <A title=B.Eckenfels@seeburger.de 
  href="mailto:B.Eckenfels@seeburger.de">Eckenfels. Bernd</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>To:</B> <A title=ocfs2-users@oss.oracle.com 
  href="mailto:ocfs2-users@oss.oracle.com">ocfs2-users@oss.oracle.com</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>Sent:</B> Tuesday, April 10, 2007 11:11 
  AM</DIV>
  <DIV style="FONT: 10pt arial"><B>Subject:</B> RE: [Ocfs2-users] High on 
  buffers and deep on swap</DIV>
  <DIV><BR></DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2>Hello Luis,</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2>the large usage of cache by inodes is not an issue in the 
  typical database setup, because you have only a very limited number of files 
  (used) on your filesystems. Also the database usually grows initially and then 
  does not request much more additional memory in 
operations.</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2>However you are right, Oracle with Data Files on ocfsv2 
  has no need to cache the data blocks on the FS layer. But I gues sthis is not 
  done (memadvice, fcntl or similiar methods can be used to enforce "directio" - 
  i am not sure which one is used by Oracle). I think the original problem 
  reports with large usage have been due to non-db 
workloads.</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2>Gruss</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=535560718-10042007><FONT face=Arial 
  color=#0000ff size=2>Bernd</FONT></SPAN></DIV><BR>
  <DIV class=OutlookMessageHeader lang=de dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> ocfs2-users-bounces@oss.oracle.com 
  [mailto:ocfs2-users-bounces@oss.oracle.com] <B>On Behalf Of </B>Luis 
  Freitas<BR><B>Sent:</B> Tuesday, April 10, 2007 7:59 PM<BR><B>To:</B> 
  Alexei_Roudnev; ocfs2-users@oss.oracle.com<BR><B>Subject:</B> Re: 
  [Ocfs2-users] High on buffers and deep on swap<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV>Alexei,</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>&nbsp;&nbsp;&nbsp; I am not a Linux kernel specialist, but generally 
  memory on the "buffer cache" is on a different "list" than memory "free", so 
  the kernel has to reclaim the buffers from&nbsp;the buffer "list" to release 
  them to the "free" "list" as memory pressure increases.</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>&nbsp;&nbsp; This has a processing cost. And on large database servers is 
  undesirable as the database does not use the buffer cache, so we have the 
  processing cost without any benefit.</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>&nbsp;&nbsp;&nbsp; &nbsp;Usually on a database environment&nbsp;I tune 
  the kernel as to keep a large amount of the memory on the "free" list, so that 
  it be readly available when spawning new database processes.</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>Regards,</DIV>
  <DIV>Luis<BR><BR><B><I>Alexei_Roudnev 
  &lt;Alexei_Roudnev@exigengroup.com&gt;</I></B> wrote:</DIV>
  <BLOCKQUOTE class=replbq 
  style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">
    <META content="MSHTML 6.00.2800.1561" name=GENERATOR>
    <DIV><FONT face=Arial size=2>Suni, you do know it much better - is not is 
    strange a little? (so many ext3 inode chache objects, togetrher with 3 GB of 
    cached disk space).</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
    <DIV><FONT face=Arial size=2>But I dont see anything wrong below - big 
    'cached' memory means only 'you have so many unused memory that system 
    cached files in it' and nothing more. Cached memory is in reality _free for 
    immediate use_ memory (can be used by anyone immediately).</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
    <DIV><FONT face=Arial size=2>What ysstem is doing is _instead of freeing 
    memory and filling it by zerous, free unused memory and fill it in by buffer 
    cache data, so that if someone need these data he have them at once. If 
    someone need more memory, system reuse any of 'chached' memory without any 
    delay (because these are buffers which are already written to the disk or 
    which was never udpated).</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
    <DIV><FONT face=Arial size=2>Big 'cached' value means only _big free 
    memory_.</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
    <BLOCKQUOTE 
    style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
      <DIV style="FONT: 10pt arial">----- O&nbsp; riginal Message ----- </DIV>
      <DIV 
      style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
      <A title=lfreitas34@yahoo.com href="mailto:lfreitas34@yahoo.com">Luis 
      Freitas</A> </DIV>
      <DIV style="FONT: 10pt arial"><B>To:</B> <A 
      title=Alexei_Roudnev@exigengroup.com 
      href="mailto:Alexei_Roudnev@exigengroup.com">Alexei_Roudnev</A> ; <A 
      title=blsieler@gmail.com href="mailto:blsieler@gmail.com">Brian Sieler</A> 
      ; <A title=ocfs2-users@oss.oracle.com 
      href="mailto:ocfs2-users@oss.oracle.com">ocfs2-users@oss.oracle.com</A> 
      </DIV>
      <DIV style="FONT: 10pt arial"><B>Sent:</B> Monday, April 09, 2007 4:32 
      PM</DIV>
      <DIV style="FONT: 10pt arial"><B>Subject:</B> Re: [Ocfs2-users] High on 
      buffers and deep on swap</DIV>
      <DIV><BR></DIV>
      <DIV>Alexei,</DIV>
      <DIV>&nbsp;</DIV>
      <DIV>&nbsp;&nbsp; How can I relate the information on slabtop to the 
      actual memory used by buffers?</DIV>
      <DIV>&nbsp;</DIV>
      <DIV>&nbsp;&nbsp; I see this on slabtop:</DIV>
      <DIV>&nbsp;</DIV>
      <DIV><FONT face=courier size=2>&nbsp;Active / Total Objects (% 
      used)&nbsp;&nbsp;&nbsp; : 603822 / 649643 (92.9%)<BR>&nbsp;Active / Total 
      Slabs (% used)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 47216 / 47216 
      (100.0%)<BR>&nbsp;Active / Total Caches (% used)&nbsp;&nbsp;&nbsp;&nbsp; : 
      97 / 133 (72.9%)<BR>&nbsp;Active / Total Size (% 
      used)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 176601.08K / 181508.49K 
      (97.3%)<BR>&nbsp;Minimum / Average / Maximum Object : 0.01K / 0.28K / 
      128.00K</FONT></DIV>
      <DIV><FONT face=courier size=2>&nbsp; OBJS ACTIVE&nbsp; USE OBJ SIZE&nbsp; 
      SLABS OBJ/SLAB CACHE SIZE NAME<BR>202461 202451&nbsp; 
      99%&nbsp;&nbsp;&nbsp; 0.54K&nbsp; 
      28923&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp;&nbsp; 
      115692K ext3_inode_cache<BR>232206 232153&nbsp; 99%&nbsp;&nbsp;&nbsp; 
      0.15K&nbsp;&nbsp; 8931&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      26&nbsp;&nbsp;&nbsp;&nbsp; 35724K dentry_cache<BR>&nbsp;29974&nbsp; 
      26092&nbsp; 87%&nbsp;&nbsp;&nbsp; 0.27K&nbsp;&nbsp; 
      2141&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      8564K radix_tree_node<BR>&nbsp;68250&nbsp; 62400&nbsp; 
      91%&nbsp;&nbsp;&nbsp; 0.05K&nbsp;&nbsp;&nbsp; 
      910&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 75&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      3640K buffer_head<BR>&nbsp;&nbsp; 855&nbsp;&nbsp;&nbsp; 855 
      100%&nbsp;&nbsp;&nbsp; 4.00K&nbsp;&nbsp;&nbsp; 
      855&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3420K pmd<BR>&nbsp;&nbsp; 
      647&nbsp;&nbsp;&nbsp; 647 100%&nbsp;&nbsp;&nbsp; 4.00K&nbsp;&nbsp;&nbsp; 
      647&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2588K size-4096<BR>&nbsp; 8595&nbsp;&nbsp; 
      7694&nbsp; 89%&nbsp;&nbsp;&nbsp; 0.25K&nbsp;&nbsp;&nbsp; 
      573&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      2292K filp<BR>&nbsp;20835&nbsp; 17331&nbsp; 83%&nbsp;&nbsp;&nbsp; 
      0.09K&nbsp;&nbsp;&nbsp; 463&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      45&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1852K vm_area_struct<BR>&nbsp;&nbsp; 
      780&nbsp;&nbsp;&nbsp; 767&nbsp; 98%&nbsp;&nbsp;&nbsp; 
      2.00K&nbsp;&nbsp;&nbsp; 390&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1560K size-2048<BR>&nbsp;18849&nbsp;&nbsp; 
      7962&nbsp; 42%&nbsp;&nbsp;&nbsp; 0.06K&nbsp;&nbsp;&nbsp; 
      309&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 61&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      1236K size-64<BR>&nbsp; 2440&nbsp;&nbsp;&nbsp; 632&nbsp; 
      25%&nbsp;&nbsp;&nbsp; 0.50K&nbsp;&nbsp;&nbsp; 
      305&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1220K size-512<BR>&nbsp; 2926&nbsp;&nbsp; 
      2889&nbsp; 98%&nbsp;&nbsp;&nbsp; 0.34K&nbsp;&nbsp;&nbsp; 
      266&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      1064K inode_cache<BR>&nbsp;&nbsp; 256&nbsp;&nbsp;&nbsp; 256 
      100%&nbsp;&nbsp;&nbsp; 3.00K&nbsp;&nbsp;&nbsp; 
      128&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1024K biovec-(256)<BR>&nbsp;&nbsp; 
      600&nbsp;&nbsp;&nbsp; 592&nbsp; 98%&nbsp;&nbsp;&nbsp; 
      1.38K&nbsp;&nbsp;&nbsp; 120&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 960K task_struct<BR>&nbsp;&nbsp; 
      515&nbsp;&nbsp;&nbsp; 512&nbsp; 99%&nbsp;&nbsp;&nbsp; 
      1.38K&nbsp;&nbsp;&nbsp; 103&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 824K pirpIo<BR>&nbsp; 
      5084&nbsp;&nbsp; 2365&nbsp; 46%&nbsp;&nbsp;&nbsp; 0.12K&nbsp;&nbsp;&nbsp; 
      164&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      31&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 656K size-128<BR></FONT></DIV>
      <DIV>&nbsp;</DIV>
      <DIV>&nbsp; The largest area is about 100Mb, but on free there are over 
      3Gb on the "cached" column:</DIV>
      <DIV>&nbsp;</DIV>
      <DIV><FONT face=courier size=1>[oracle@br001sv0431 ~]$ 
      free<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      total&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; 
      shared&nbsp;&nbsp;&nbsp; buffers&nbsp;&nbsp;&nbsp;&nbsp; 
      cached<BR>Mem:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      5190736&nbsp;&nbsp;&nbsp; 4461420&nbsp;&nbsp;&nbsp;&nbsp; 
      729316&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      0&nbsp;&nbsp;&nbsp;&nbsp; 141836&nbsp;&nbsp;&nbsp; 3265464<BR>-/+ 
      buffers/cache:&nbsp;&nbsp;&nbsp; 1054120&nbsp;&nbsp;&nbsp; 
      4136616<BR>Swap:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      2048248&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      0&nbsp;&nbsp;&nbsp; 2048248<BR>[oracle@br001sv0431 ~]$<BR></FONT></DIV>
      <DIV><FONT face=courier size=1></FONT>&nbsp;</DIV>
      <DIV>Regards,</DIV>
      <DIV>Luis</DIV>
      <DIV>&nbsp;</DIV>
      <DIV><BR><BR><B><I>Alexei_Roudnev 
      &lt;Alexei_Roudnev@exigengroup.com&gt;</I></B> wrote:</DIV>
      <BLOCKQUOTE class=replbq 
      style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">
        <META content="MSHTML 6.00.2800.1561" name=GENERATOR>
        <DIV><FONT face=Arial size=2>Did you run slabtop ? It can&nbsp;show 
        unreleased buffers in the system.</FONT></DIV>
        <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
        <BLOCKQUOTE 
        style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
          <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
          <DIV 
          style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
          <A title=lfreitas34@yahoo.com href="mailto:lfreitas34@yahoo.com">Luis 
          Freitas</A> </DIV>
          <DIV style="FONT: 10pt arial"><B>To:</B> <A 
          title=Alexei_Roudnev@exigengroup.com 
          href="mailto:Alexei_Roudnev@exigengroup.com">Alexei_Roudnev</A> ; <A 
          title=blsieler@gmail.com href="mailto:blsieler@gmail.com">Brian 
          Sieler</A> ; <A title=ocfs2-users@oss.oracle.com 
          href="mailto:ocfs2-users@oss.oracle.com">ocfs2-users@oss.oracle.com</A> 
          </DIV>
          <DIV style="FONT: 10pt arial"><B>Sent:</B> Monday, April 09, 2007 2:29 
          PM</DIV>
          <DIV style="FONT: 10pt arial"><B>Subject:</B> Re: [Ocfs2-users] High 
          on buffers and deep on swap</DIV>
          <DIV><BR></DIV>
          <DIV>Alexei,</DIV>
          <DIV>&nbsp;</DIV>
          <DIV>&nbsp; Yes, it seems to have no effect, which too is very 
          strange. On 2.4&nbsp;vm.freepages had a very easy to notice 
          effect.</DIV>
          <DIV>&nbsp;</DIV>
          <DIV>&nbsp;&nbsp; There are other people having problems with buffers 
          not being released on the list and some of them are forcing the kernel 
          cache to be flushed with:</DIV>
          <DIV>&nbsp;</DIV>
          <DIV>echo 3 &gt; /proc/sys/vm/drop_caches</DIV>
          <DIV>&nbsp;</DIV>
          <DIV>&nbsp;&nbsp;&nbsp; But I dont see this parameter on RHAS 
          4.0.</DIV>
          <DIV>&nbsp;</DIV>
          <DIV>&nbsp;&nbsp;&nbsp;&nbsp; Also, to be fair this seems to be&nbsp;a 
          generic VM issue, I see this on servers that are not running ocfs2 
          too. And I only see this behavior on machines with more than 2Gb of 
          memory.</DIV>
          <DIV>&nbsp;</DIV>
          <DIV>Regards,</DIV>
          <DIV>Luis</DIV>
          <DIV>&nbsp;</DIV>
          <DIV>Regards,<BR>Luis<BR><BR><B><I>Alexei_Roudnev 
          &lt;Alexei_Roudnev@exigengroup.com&gt;</I></B> wrote:</DIV>
          <BLOCKQUOTE class=replbq 
          style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">
            <META content="MSHTML 6.00.2800.1561" name=GENERATOR>
            <STYLE>v\:* {
        BEHAVIOR: url(#default#VML)
}
o\:* {
        BEHAVIOR: url(#default#VML)
}
w\:* {
        BEHAVIOR: url(#default#VML)
}
.shape {
        BEHAVIOR: url(#default#VML)
}
</STYLE>

            <STYLE>@font-face {
        font-family: Courier;
}
@font-face {
        font-family: Tahoma;
}
@page Section1 {size: 8.5in 11.0in; margin: 1.0in 1.25in 1.0in 1.25in; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: blue; TEXT-DECORATION: underline
}
P.MsoPlainText {
        FONT-SIZE: 10pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Courier New"
}
LI.MsoPlainText {
        FONT-SIZE: 10pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Courier New"
}
DIV.MsoPlainText {
        FONT-SIZE: 10pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Courier New"
}
P {
        FONT-SIZE: 12pt; MARGIN-LEFT: 0in; MARGIN-RIGHT: 0in; FONT-FAMILY: "Times New Roman"; mso-margin-top-alt: auto; mso-margin-bottom-alt: auto
}
SPAN.EmailStyle18 {
        COLOR: navy; FONT-FAMILY: Arial; mso-style-type: personal-reply
}
DIV.Section1 {
        page: Section1
}
</STYLE>

            <DIV><FONT face=Arial size=2>Did you tried vm.swappiness 
            parameter?</FONT></DIV>
            <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
            <DIV><FONT face=Arial size=2>(/proc/sys/vm/swappiness)</FONT></DIV>
            <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
            <BLOCKQUOTE 
            style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
              <DIV style="FONT: 10pt arial">----- </DIV>
              <DIV style="FONT: 10pt arial">Original Message ----- </DIV>
              <DIV 
              style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
              <A title=blsieler@gmail.com href="mailto:blsieler@gmail.com">Brian 
              Sieler</A> </DIV>
              <DIV style="FONT: 10pt arial"><B>To:</B> <A 
              title=lfreitas34@yahoo.com 
              href="mailto:lfreitas34@yahoo.com">'Luis Freitas'</A> ; <A 
              title=ocfs2-users@oss.oracle.com 
              href="mailto:ocfs2-users@oss.oracle.com">ocfs2-users@oss.oracle.com</A> 
              </DIV>
              <DIV style="FONT: 10pt arial"><B>Sent:</B> Sunday, April 08, 2007 
              10:52 PM</DIV>
              <DIV style="FONT: 10pt arial"><B>Subject:</B> RE: [Ocfs2-users] 
              High on buffers and deep on swap</DIV>
              <DIV><BR></DIV>
              <DIV class=Section1>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'">Luis, 
              yes I am experiencing what appears to be a similar problem you are 
              describing. See my post from just a few minutes ago on another 
              thread.<o:p></o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'"><o:p>&nbsp;</o:p></SPAN></FONT></DIV>
              <DIV class=MsoPlainText><FONT face="Courier New" color=navy 
              size=2><SPAN style="FONT-SIZE: 10pt; COLOR: navy">I run a 2-node 
              cluster with OCFS2/RAC on </SPAN></FONT>2.6.9-34.0.2.ELsmp (RHEL 
              4.0) as well.<o:p></o:p></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'"><o:p>&nbsp;</o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              total&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              free&nbsp;&nbsp;&nbsp;&nbsp; shared&nbsp;&nbsp;&nbsp; 
              buffers&nbsp;&nbsp;&nbsp;&nbsp; 
              cached<o:p></o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'">Mem:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              4044496&nbsp;&nbsp;&nbsp; 4005516&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              38980&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 34108&nbsp;&nbsp;&nbsp; 
              2236636<o:p></o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'">-/+ 
              buffers/cache:&nbsp;&nbsp;&nbsp; 1734772&nbsp;&nbsp;&nbsp; 
              2309724<o:p></o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'">Swap:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              2097144&nbsp;&nbsp;&nbsp;&nbsp; 648244&nbsp;&nbsp;&nbsp; 
              1448900<o:p></o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'"><o:p>&nbsp;</o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Courier New" color=navy 
              size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: 'Courier New'">If 
              you’ve uncovered anything since posting this message, please pass 
              it along?<o:p></o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
              style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><o:p>&nbsp;</o:p></SPAN></FONT></DIV>
              <DIV>
              <DIV class=MsoNormal style="TEXT-ALIGN: center" align=center><FONT 
              face="Times New Roman" size=3><SPAN style="FONT-SIZE: 12pt">
              <HR tabIndex=-1 align=center width="100%" SIZE=2>
              </SPAN></FONT></DIV>
              <DIV class=MsoNormal><B><FONT face=Tahoma size=2><SPAN 
              style="FONT-WEIGHT: bold; FONT-SIZE: 10pt; FONT-FAMILY: Tahoma">From:</SPAN></FONT></B><FONT 
              face=Tahoma size=2><SPAN 
              style="FONT-SIZE: 10pt; FONT-FAMILY: Tahoma"> 
              ocfs2-users-bounces@oss.oracle.com 
              [mailto:ocfs2-users-bounces@oss.oracle.com] <B><SPAN 
              style="FONT-WEIGHT: bold">On Behalf Of </SPAN></B>Luis 
              Freitas<BR><B><SPAN style="FONT-WEIGHT: bold">Sent:</SPAN></B> 
              Friday, February 23, 2007 5:32 PM<BR><B><SPAN 
              style="FONT-WEIGHT: bold">To:</SPAN></B> 
              ocfs2-users@oss.oracle.com<BR><B><SPAN 
              style="FONT-WEIGHT: bold">Subject:</SPAN></B> [Ocfs2-users] High 
              on buffers and deep on swap</SPAN></FONT><o:p></o:p></DIV></DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt"><o:p>&nbsp;</o:p></SPAN></FONT></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">Hi,<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;&nbsp; This is a bit off topic, hope 
              there is not a problem.<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;&nbsp; Anyone out there 
              experiencing&nbsp;high swapping with the kernel retaining a large 
              amount of buffers? This used to be a problem on 2.4, and I usually 
              changed /proc/sys/vm/freepages to fix it. But on 2.6 this 
              parameter no longer exists.<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New&#13;&#10; Roman" 
              size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;&nbsp;&nbsp; One of the servers here 
              is holding over 3.5Gb of cache even when using over 700Mb of swap, 
              and free memory is always 
low.<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face=Courier size=3><SPAN 
              style="FONT-SIZE: 12pt; FONT-FAMILY: Courier">[oracle@br001sv0432 
              ~]$ 
              free<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              total&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              free&nbsp;&nbsp;&nbsp;&nbsp; shared&nbsp;&nbsp;&nbsp; 
              buffers&nbsp;&nbsp;&nbsp;&nbsp; 
              cached<BR>Mem:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              5190736&nbsp;&nbsp;&nbsp; 4810880&nbsp;&nbsp;&nbsp;&nbsp; 
              379856&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              0&nbsp;&nbsp;&nbsp;&nbsp; 143032&nbsp;&nbsp;&nbsp; 3583868<BR>-/+ 
              buffers/cache:&nbsp;&nbsp;&nbsp; 1083980&nbsp;&nbsp;&nbsp; 
              4106756<BR>Swap:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
              2048248&nbsp;&nbsp;&nbsp;&nbsp; 723064&nbsp;&nbsp;&nbsp; 
              1325184<BR>[oracle@br001sv0432 
              ~]$</SPAN></FONT><o:p></o:p></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face=Arial size=3><SPAN 
              style="FONT-SIZE: 12pt; FONT-FAMILY: Arial">&nbsp;&nbsp; I am 
              tuning /proc/sys/vm/swappiness, but this seems to have no effect 
              at all. Changed from 60 to 10 and seems to have no effect. The 
              server runs Oracle RAC with 
              OCFS2.</SPAN></FONT><o:p></o:p></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">Regards,<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">Luis<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp;<o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt">&nbsp; <o:p></o:p></SPAN></FONT></DIV>
              <DIV class=MsoNormal style="TEXT-ALIGN: center" align=center><FONT 
              face="Times New Roman" size=3><SPAN style="FONT-SIZE: 12pt">
              <HR align=center width="100%" SIZE=1>
              </SPAN></FONT></DIV>
              <DIV class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
              style="FONT-SIZE: 12pt"><A 
              href="http://answers.yahoo.com/dir/index;_ylc=X3oDMTFvbGNhMGE3BF9TAzM5NjU0NTEwOARfcwMzOTY1NDUxMDMEc2VjA21haWxfdGFnbGluZQRzbGsDbWFpbF90YWcx?link=ask&amp;sid=396545367">Food 
              fight?</A> Enjoy some healthy debate<BR>in the <A 
              href="http://answers.yahoo.com/dir/index;_ylc=X3oDMTFvbGNhMGE3BF9TAzM5NjU0NTEwOARfcwMzOTY1NDUxMDMEc2VjA21haWxfdGFnbGluZQRzbGsDbWFpbF90YWcx?link=ask&amp;sid=396545367">Yahoo! 
              Answers Food &amp; Drink 
              Q&amp;A.</A><o:p></o:p></SPAN></FONT></DIV></DIV>
              <DIV>
              <HR>

              <DIV></DIV>_______________________________________________<BR>Ocfs2-users 
              mailing 
              list<BR>Ocfs2-users@oss.oracle.com<BR>http://oss.oracle.com/mailman/listinfo/ocfs2-users</DIV></BLOCKQUOTE></BLOCKQUOTE><BR>
          <DIV>
          <HR SIZE=1>
          Be a PS3 game guru.<BR>Get your game face on with <A 
          href="http://us.rd.yahoo.com/evt=49936/*http://videogames.yahoo.com">the 
          latest PS3 news and previews at Yahoo! 
      Games.</A></DIV></BLOCKQUOTE></BLOCKQUOTE><BR>
      <DIV>
      <HR SIZE=1>
      Finding fabulous fares is fun.<BR><A 
      href="http://farechase.yahoo.com/promo-generic-14795097;_ylc=X3oDMTFtNW45amVpBF9TAzk3NDA3NTg5BF9zAzI3MTk0ODEEcG9zAzEEc2VjA21haWx0YWdsaW5lBHNsawNxMS0wNw--">Let 
      Yahoo! FareChase search your favorite travel sites</A> to find flight and 
      hotel bargains.</DIV></BLOCKQUOTE></BLOCKQUOTE><BR>
  <P>
  <HR SIZE=1>
  <A href="http://us.rd.yahoo.com/evt=49935/*http://games.yahoo.com">Bored 
  stiff?</A> Loosen up...<BR><A 
  href="http://us.rd.yahoo.com/evt=49935/*http://games.yahoo.com">Download and 
  play hundreds of games for free</A> on Yahoo! Games. 
  <DIV>
  <P>
  <HR>
  SEEBURGER AG <BR>Headquarters:<BR>Edisonstraße 1 <BR>D-75015 Bretten <BR>Tel.: 
  0 72 52/96-0 <BR>Fax: 0 72 52/96-2222 <BR>Internet: http://www.seeburger.de 
  <BR>e-mail: info@seeburger.de <BR><BR>Vorstand:<BR>Bernd Seeburger, Axel Haas, 
  Michael Kleeberg<BR><BR>Vorsitzender des Aufsichtsrats:<BR>Dr. Franz 
  Scherer<BR><BR>Handelsregister:<BR>HRB 240708 Mannheim 
  <P></P></DIV>
  <P>
  <HR>

  <P></P>_______________________________________________<BR>Ocfs2-users mailing 
  list<BR>Ocfs2-users@oss.oracle.com<BR>http://oss.oracle.com/mailman/listinfo/ocfs2-users</BLOCKQUOTE></BODY></HTML>