<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:SimSun;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:SimSun;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        text-align:justify;
        text-justify:inter-ideograph;
        font-size:10.5pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
/* Page Definitions */
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 90.0pt 72.0pt 90.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="ZH-CN" link="#0563C1" vlink="#954F72" style="text-justify-trim:punctuation">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US">Hi, &nbsp;I meet a new problem that file may be lost althougth it is recorded in the jbd2 journal</span><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">with ocfs2 file system in one node scene. Can you give some suggestions for this problem<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">and modification patch?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Test method:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">1. touch some files after mount<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">2. emergency restart<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">3. mount again, then log tail will not be updated<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">4. touch a new file and confirm that it is recorded in the journal area<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">5.emergency restart again<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">6. the new log will not be replayed becasuse its seq and blknum are not consistent with journal super block although it is an unbroken commit.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">After analizing the codes, its cause is as follow:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<div style="mso-element:para-border-div;border:none;border-bottom:solid windowtext 1.5pt;padding:0cm 0cm 1.0pt 0cm">
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Journal-&gt;j_flags will be set JBD2_ABORT in journal_init_common first.<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">if this flag is not cleared before journal_reset in journal recovery<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">scene, super log tail cannot be updated, then the new commit trans in<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">the journal may not be replayed because new commits recover old trans<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">area.<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">This exception happens when this lun is used by only one node. If it<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">is used by multi-nodes, other node will replay its journal and its<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">log tail info will be updated after recovery.<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">To fix this problem, use jbd2_journal_flush to update log tail as<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">ocfs2_replay_journal has done.<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">logdump:<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Block 0: Journal Superblock<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Seq: 0&nbsp;&nbsp; Type: 4 (JBD2_SUPERBLOCK_V2)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Blocksize: 4096&nbsp;&nbsp; Total Blocks: 32768&nbsp;&nbsp; First Block: 1<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">First Commit ID: 13&nbsp;&nbsp; Start Log Blknum: 1<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Error: 0<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Feature Compat: 0<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Feature Incompat: 2 block64<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Feature RO compat: 0<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Journal UUID: 4ED3822C54294467A4F8E87D2BA4BC36<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">FS Share Cnt: 1&nbsp;&nbsp; Dynamic Superblk Blknum: 0<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Per Txn Block Limit&nbsp;&nbsp;&nbsp; Journal: 0&nbsp;&nbsp;&nbsp; Data: 0<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Block 1: Journal Commit Block<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Seq: 14&nbsp;&nbsp; Type: 2 (JBD2_COMMIT_BLOCK)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Block 2: Journal Descriptor<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Seq: 15&nbsp;&nbsp; Type: 1 (JBD2_DESCRIPTOR_BLOCK)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">No. Blocknum&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Flags<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">0. 587&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; none<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">UUID: 00000000000000000000000000000000<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">1. 8257792&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; JBD2_FLAG_SAME_UUID<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">2. 619&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; JBD2_FLAG_SAME_UUID<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">3. 24772864&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;JBD2_FLAG_SAME_UUID<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">4. 8257802&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; JBD2_FLAG_SAME_UUID<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">5. 513&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; JBD2_FLAG_SAME_UUID JBD2_FLAG_LAST_TAG<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">...<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Block 7: Inode<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Inode: 8257802&nbsp;&nbsp; Mode: 0640&nbsp;&nbsp; Generation: 57157641 (0x3682809)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">FS Generation: 2839773110 (0xa9437fb6)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">CRC32: 00000000&nbsp;&nbsp; ECC: 0000<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Type: Regular&nbsp;&nbsp; Attr: 0x0&nbsp;&nbsp; Flags: Valid<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Dynamic Features: (0x1) InlineData<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">User: 0 (root)&nbsp;&nbsp; Group: 0 (root)&nbsp;&nbsp; Size: 7<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Links: 1&nbsp;&nbsp; Clusters: 0<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">ctime: 0x5de5d870 0x11104c61 -- Tue Dec&nbsp; 3 11:37:20.286280801 2019<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">atime: 0x5de5d870 0x113181a1 -- Tue Dec&nbsp; 3 11:37:20.288457121 2019<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">mtime: 0x5de5d870 0x11104c61 -- Tue Dec&nbsp; 3 11:37:20.286280801 2019<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">dtime: 0x0 -- Thu Jan&nbsp; 1 08:00:00 1970<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">...<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Block 9: Journal Commit Block<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Seq: 15&nbsp;&nbsp; Type: 2 (JBD2_COMMIT_BLOCK)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">syslog:<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Dec&nbsp; 3 11:41:05 cvknode02 kernel: [ 2265.648622] ocfs2: File system on device (252,1) was not unmounted cleanly, recovering it.<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Dec&nbsp; 3 11:41:05 cvknode02 kernel: [ 2265.649695] fs/jbd2/recovery.c:(do_one_pass, 449): Starting recovery pass 0<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Dec&nbsp; 3 11:41:05 cvknode02 kernel: [ 2265.650407] fs/jbd2/recovery.c:(do_one_pass, 449): Starting recovery pass 1<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Dec&nbsp; 3 11:41:05 cvknode02 kernel: [ 2265.650409] fs/jbd2/recovery.c:(do_one_pass, 449): Starting recovery pass 2<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Dec&nbsp; 3 11:41:05 cvknode02 kernel: [ 2265.650410] fs/jbd2/recovery.c:(jbd2_journal_recover, 278): JBD2: recovery, exit status 0, recovered transactions 13 to 13<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Seq 15 is an unbroken commit, but it cannot be replayed, inode 8257802<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">is a new file and it will be lost. After test, it is ok now.<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">Signed-off-by: Kai Li &lt;li.kai4@h3c.com&gt;<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">---<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">fs/ocfs2/journal.c | 8 &#43;&#43;&#43;&#43;&#43;&#43;&#43;&#43;<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">1 file changed, 8 insertions(&#43;)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">diff --git a/fs/ocfs2/journal.c b/fs/ocfs2/journal.c<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">index 1afe57f425a0..b8b9d26fa731 100644<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">--- a/fs/ocfs2/journal.c<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&#43;&#43; b/fs/ocfs2/journal.c<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">@@ -1066,6 &#43;1066,14 @@ int ocfs2_journal_load(struct ocfs2_journal *journal, int local, int replayed)<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ocfs2_clear_journal_error(osb-&gt;sb, journal-&gt;j_journal, osb-&gt;slot_num);<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; if (replayed) {<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /* wipe the journal */<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; jbd2_journal_lock_updates(journal-&gt;j_journal);<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; status = jbd2_journal_flush(journal-&gt;j_journal);<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; jbd2_journal_unlock_updates(journal-&gt;j_journal);<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mlog(ML_NOTICE, &quot;journal recovery complete, status=%d&quot;, status);<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&#43;<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; status = ocfs2_journal_toggle_dirty(osb, 1, replayed);<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; if (status &lt; 0) {<o:p></o:p></span></p>
<p class="MsoNormal" style="border:none;padding:0cm"><span lang="EN-US">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mlog_errno(status);<o:p></o:p></span></p>
</div>
</div>
<span style="font-size:7.5pt;font-family:&#21326;&#25991;&#32454;&#40657;;color:gray"><span lang="EN-US">-------------------------------------------------------------------------------------------------------------------------------------<br>
</span>&#26412;&#37038;&#20214;&#21450;&#20854;&#38468;&#20214;&#21547;&#26377;&#26032;&#21326;&#19977;&#38598;&#22242;&#30340;&#20445;&#23494;&#20449;&#24687;&#65292;&#20165;&#38480;&#20110;&#21457;&#36865;&#32473;&#19978;&#38754;&#22320;&#22336;&#20013;&#21015;&#20986;<span lang="EN-US"><br>
</span>&#30340;&#20010;&#20154;&#25110;&#32676;&#32452;&#12290;&#31105;&#27490;&#20219;&#20309;&#20854;&#20182;&#20154;&#20197;&#20219;&#20309;&#24418;&#24335;&#20351;&#29992;&#65288;&#21253;&#25324;&#20294;&#19981;&#38480;&#20110;&#20840;&#37096;&#25110;&#37096;&#20998;&#22320;&#27844;&#38706;&#12289;&#22797;&#21046;&#12289;<span lang="EN-US"><br>
</span>&#25110;&#25955;&#21457;&#65289;&#26412;&#37038;&#20214;&#20013;&#30340;&#20449;&#24687;&#12290;&#22914;&#26524;&#24744;&#38169;&#25910;&#20102;&#26412;&#37038;&#20214;&#65292;&#35831;&#24744;&#31435;&#21363;&#30005;&#35805;&#25110;&#37038;&#20214;&#36890;&#30693;&#21457;&#20214;&#20154;&#24182;&#21024;&#38500;&#26412;<span lang="EN-US"><br>
</span>&#37038;&#20214;&#65281;<span lang="EN-US"><br>
</span></span><span lang="EN-US" style="font-size:7.5pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:gray">This e-mail and its attachments contain confidential information from New H3C, which is
<br>
intended only for the person or entity whose address is listed above. Any use of the
<br>
information contained herein in any way (including, but not limited to, total or partial
<br>
disclosure, reproduction, or dissemination) by persons other than the intended <br>
recipient(s) is prohibited. If you receive this e-mail in error, please notify the sender
<br>
by phone or email immediately and delete it!</span>
</body>
</html>