Jump to content
日本-日本語

HP ProLiant MPサーバー

 お問い合わせ
Content starts here

スペシャルコンテンツ インテル® Xeon® プロセッサー E7 ファミリーを搭載する8ソケットサーバーで、HPがノードコントローラーを採用したサーバーデザインにした、その理由は?その技術について解説します。 インテル® Xeon® E7 プロセッサー E7ファミリー

スペシャルコンテンツ その2 潮平さゆり特別寄稿 HP ProLiant DL980 G7〜8ソケットXeon E7搭載サーバー技術入門

HP ProLiant DL980 G7(以下、DL980)はインテル® Xeon® プロセッサー E7ファミリー(以下、Xeon E7)を搭載する8ソケット/80コア/160スレッドのラックマウント型サーバーである。サーバーベンダーのほとんどが8ソケットサーバーをグルーレス(プロセッサーだけで拡張する最大構成の)デザインにしているが、HPのDL980はノードコントローラーを搭載したサーバーデザインにしている。このノードコントローラーによるスケールアップ性能を向上させる効果は、数々のベンチマークでNo.1という結果になって現れている。また、DL980は性能だけでなく堅牢性についてもメインフレームやRISCプロセッサーと遜色のないレベルの機能を実装している。今回は、その技術について、解説する。
潮平さゆり
フリーライター。外資系IT企業におけるテクニカルマーケティングの勤務経験を経て、近年執筆活動に入る。ITバブル後に、カリフォルニアやコロラドで64ビットコンピューティングの研究開発に携わり、プロセッサーやサーバープラットフォームに関する造詣が深い。国内外に、豊富な業界人脈を持つ。

スケールアップ性能

8ソケット構成のXeon E7の性能を向上させるには、メモリアクセスレイテンシの低いローカルメモリアクセスの活用、そしてキャッシュとメインメモリのデータの一貫性を維持するキャッシュ コヒーレンシーの高速処理が必須となる。前者はオペレーティングシステムとアプリケーションをNUMA対応にすることで改善され、後者はXeon E7のDAS(Directory Assisted Snoopy)やノードコントローラーによる高速処理で実現させることができる。

NUMA構成のメモリアクセスとキャッシュ コヒーレンシー

Xeon E7の8ソケット構成ではローカルメモリアクセスレイテンシとリモートメモリアクセスレイテンシで約3倍程度の差がある。そのため 、NUMA対応のオペレーティングシステムやアプリケーションはローカルメモリアクセスを優先することで性能を向上させている。しかしながら、データはキャッシュとメインメモリの双方で保持され、そのデータ一貫性を維持するキャッシュ コヒーレンシー処理が必須となる。

このキャッシュ コヒーレンシー処理はソーススヌープキャッシュ方式で行われる。この方式ではスヌープ(問合せ)が全てのソケットに対して行われるため、8ソケットサーバーのスヌープ処理完了時間は4ソケット構成の4倍程度になる。そのため、スヌープ完了を待たなくてもローカル上のデータが最新であれば読み出し完了として扱われるよう改良されているのがDAS機能で、ノードコントローラーにスヌープの完了を応答させてスヌープ処理完了時間を短くしているのがDL980の「スマートCPUキャッシング」機能である(図1)。
HP ProLiant DL980 G7 ブロック図と各メモリとのアクセス比較 ノードコントローラーモジュール外観
図1 HP ProLiant DL980 G7 ブロック図と各メモリとのアクセス比較
写真1 ノードコントローラーモジュール外観

スマートCPUキャッシング

DL980のキャッシュ コヒーレンシーの高速処理はXeonE7から搭載されたDAS機能ではなく、「スマートCPUキャッシング」機能を採用している。この「スマートCPUキャッシング」は条件さえそろえばキャッシュ コヒーレンシー処理をノードコントローラーで完了させることができる。そのため、DAS機能と比較した場合、「スマートCPUキャッシング」の方が処理時間を短縮できている(図2)。さらに、ノードコントローラー間をQPIではなく高速シリアルバスを採用し、伝送負荷も大幅に低減させている 。
スマートCPUキャッシング
グルーレス構成
図2 グルーレス構成とスマートCPUキャッシングの違い

堅牢性

サーバーの安定稼働にはエラー対策は必要不可欠である。Xeon E7ではキャッシュとサポートされるメインメモリの容量が大幅に増加し、ソフトエラーとハードエラーの対策が強化され、検出はできても訂正できないエラー(以下、UCE: Uncorrectable Error)についてはオペレーティングシステムと連携して封じ込める機能が搭載されている。

メモリのエラー対策

Xeon E7のL1キャッシュとL2キャッシュはシングルビットエラー訂正が可能になっている。30MBのL3キャッシュはダブルビットエラー訂正が可能であるが、L3キャッシュでUCEが検出された場合にはオペレーティングシステムがそのUCEを含むページへのアクセスを制限する。このUCEをオペレーティングシステムで封じ込める処理は、マシン・チェック・アーキテクチャー・リカバリー(MCAリカバリー)と呼ばれている。

メインメモリのエラー保護機能としてはDDDC(Double Device Data Correction)が実装されている。これは、1枚のDDR3 RDIMMで発生するDRAMチップの連続不連続に関係なくエラー訂正ができる機能である。このようなDRAMチップのランダムエラーはメモリミラーでも実現できるが、メモリチャネルの帯域とメモリ容量が半分になるので、性能と堅牢性がトレードオフになってしまう。このDDDCはそのような制限はなく堅牢性を向上させる最高レベルのDRAMチップエラー訂正機能である。さらに、搭載されているメインメモリはメモリパトロールスクラビングにより定期的に診断され、エラーが検出されれば訂正される。検出されたエラーがUCEである場合は、MCAリカバリーされる。
MCAリカバリー
図3 MCAリカバリー

ノードコントローラーによる冗長構成

DL980は4つのノードコントローラーでクロスバーファブリックを構成している 。2ソケットに1つのノードコントローラーという単位で拡張し、ノードコントローラー間を複数本の高機能なエラー訂正を備えたエンベデッドクロック方式の専用高速シリアルバスで冗長化している。このシリアルバスの内部は10レーンで構成されているが、1つのレーンで単発的に通信エラーが発生した場合はパケットを再送して訂正し、連続的に発生した場合はそのレーンを一旦リセットし再開させる。パケットの再送やリセットで訂正されないハードエラーであれば、スペアレーンに切り替わる。さらに、伝送経路が遮断されてしまうようなエラーの場合は別の経路に動的ルーティングされる。
下部CPUボード用ノードコントローラーモジュール
写真2 下部CPUボード用ノードコントローラーモジュール
上部CPUボード用ノードコントローラーモジュール
写真3 上部CPUボード用ノードコントローラーモジュール

最後に

このように、Xeon E7とDL980は、従来のRISC/EPICサーバーやメインフレームで養われた技術が盛り込まれたx86サーバーと言えるだろう。Xeon E7に関して、さらに詳しい技術情報は、ASCIIメディアワークスが刊行するIT技術情報専門誌「ASCII.technologies このリンクをクリックすると、HP社外へリンクします。」の2011年9月号に寄稿しているので、そちらをご参照いただきたい。
このページで紹介されているHP ProLiant DL980 G7については、「HP ProLiant MPサーバー パーフェクトガイド」にも詳しく掲載されております。より詳しい内容を知りたい方は、「ダウンロードする」ボタンをクリックしてください。アンケートにお答え頂くと、パーフェクトガイドをダウンロードすることができます。

ダウンロード

アンケートにお答え頂いた方はホワイトペーパーやパーフェクトガイドをダウンロードすることができます、ぜひご活用ください。

■セミナー資料
導入が進む80コアのモンスターマシン、その使われ方とは?
〜ITインフラ革新のための“新たな選択肢”を事例で解説〜

■ホワイトペーパー
半導体メモリアレイ、仮想化環境バッチ処理性能検証
Red Hat Enterprise Linux 6 KVMによる効率的なバッチ処理環境の構築

■パーフェクトガイド
HP ProLiantサーバー G7 マルチプロセッサー(MP)サーバー パーフェクトガイド
HP ProLiantサーバー G7のMPサーバーがITインフラの革新に向けた新しい選択肢を提供します。
ダウンロードする


お問い合わせ

ご購入前のお問い合わせ


ご購入後のお問い合わせ

オンラインサポート
製品の標準保証でご利用いただける無償のサービスです。

ショールーム

ショールーム 導入をご検討のお客様へ
業務アプリケーションの継続・標準化・開発性とシステム担当者様、システム開発者様が抱える悩み・疑問に対する解決策実体験して頂けます。

Intel、インテル、Intelロゴ、Itanium、Xeon、Xeon Insideは、アメリカ合衆国および他の国におけるインテル コーポレーションまたはその子会社の商標または登録商標です。