大阪大学核物理研究センターが
3.5PBの大規模ファイルストレージ基盤を構築

大阪大学 核物理研究センターは、原子核物理学の実験および理論的研究を行う目的で1971年に設立された。大阪大学の研究者のみならず、世界中の科学者に開かれた全国共同利用研究センターとして、さらに2010年度からは文部科学省認定の共同利用・共同研究拠点（サブアトミック科学研究拠点）として、原子核物理の探求にまつわる様々な研究活動を推進している。

原子核物理の研究は、「実験的研究」と「理論的研究」の2つからなる。実験的研究は、同センター内に設置された粒子化装置（加速器）「リングサイクロトロン」や、放射光施設「SPring-8」にあるレーザー電子光実験施設が活動の舞台。大型の実験装置では、大量の実験データの解析・シミュレーションによる実験装置の性能評価や開発が不可欠だ。

そして理論的研究では、解析・シミュレーションを中心とする大規模な数値計算を行う。これらの研究活動を支える中心的な役割を果たしているのが、同センター内で運用されるHPC（High Performance Computing）システムである。大阪大学 核物理研究センター 助教の堀田智明氏は、この「高性能計算機システム」について次のように説明する。

「原子核の構造や素粒子の性質の探求、新物質の存在形態の研究、そして宇宙誕生の謎の解明に至るまで、核物理研究センターでの研究項目は多岐にわたっています。こうした研究活動を支えていく上で、HPCシステムにはより高い計算処理能力と、計算結果を格納する大容量かつ高速なストレージ基盤が求められています」

大阪大学核物理研究センターでは、5年サイクルでシステムを見直し計算資源の拡充を図ってきた。今回のプロジェクトでは、2008年秋に仕様検討に着手し2009年末までに仕様を策定。2010年初めに、次期HPCシステム＝高性能計算機システムの構築プロジェクトをスタートさせた。

そして、クラスター型HPCサーバーとともに高性能計算機システムの中核を成すストレージとして、ペタバイトクラスに対応するスケールアウト型NASストレージ「HP X9000 Network Storage Systems」を選定。スナップショットの取得・管理、バックアップシステムにもHP Storage製品を採用し“大規模ファイルストレージ基盤”を構築した。

高性能計算機システムの本稼働がスタートしたのは2010年9月1日――本システムの設計・構築・運用においては、HPC分野で豊富な経験を持つ住商情報システム株式会社（SCS）が参画した。

「高性能計算機システム」を利用する研究者はおよそ500人。うち海外の研究者100人弱を含む300人以上が学外からの利用者だ。堀田氏は、研究者によるシステムの利用ニーズを次のように紹介する。

「代表的な利用形態として原子核素粒子実験に伴う計算処理があります。これは1,000チャネルを超える検出器（粒子の動きを測る装置）の中で、どのタイプの粒子がどのようなエネルギーを持って動き回っているかという情報を取得し、解析処理を通して基になった物理現象の正体を解明しようというものです」

こうした核物理研究の最前線では、どれほどのストレージ容量が必要とされるのか。堀田氏によれば、実験から理論を導く研究に伴う計算処理では、計算ごとに数キロバイトから数ギガバイト単位のデータが生成され、しかもそのすべてのデータを格納できるだけのストレージ容量が求められるという。

「1日平均でおよそ600プロセスが常時動作しています。解析を進めるにしたがって研究者が必要とする情報が絞り込まれ、データのサイズは小さくなっていくのですが、最初に取得した生データを含めすべてをストレージに格納・管理しています。なぜなら、後にさまざまな条件から解析を繰り返す際に、生データを用いる必要があるからです」（堀田氏）

生成されるデータは、研究内容の大規模化に伴って年々拡大傾向にある。同センターでは、5年ごとのシステム刷新時に“前システムの10倍のストレージ容量”を確保することを目標にストレージシステムの仕様を検討してきたという。今回、高性能計算機システムのメインストレージとして採用された「HP X9000 Network Storage Systems」の総容量は3.5ペタバイトに達しており、前システムの総容量である200テラバイトの17.5倍もの容量が確保されている。

堀田氏は、「前システムの200TBという容量については、2005年当時は十分と考えていました。しかし、研究の大規模化に伴って5年を待たずに逼迫した状況となり、研究を計画どおり実施していくために何度かディスクを増設せざるをえなかった経緯があります。今回、限られた予算の中で、目標としていた10倍を大きく上回るストレージ容量を確保できたことは非常に重要です」と評価する。

業界標準テクノロジーを採用したハードウェア上で高度な並列ファイルシステムを実現する「HP X9000 Network Storage Systems」――そのコストパフォーマンスの高さが実証された形だ。

本システムの要件として堀田氏らが特に重視したのは、パフォーマンスと信頼性の2つだという。まずパフォーマンスについて、堀田氏は「私たちの要求するI/Oパフォーマンスがきちんと出ることが大前提です。I/Oがボトルネックになると、データ解析や理論計算そのものが遅くなり、研究に支障をきたしてしまうからです」と語る。

一方、信頼性についてはどれほどのレベルが求められたのか。これは科学技術計算全般に言えることだが、実験研究で生成したデータを何らかのトラブルで消失・破損した場合、内容によっては億単位の損失につながるケースもあるという。したがって、「何があってもデータを失わない仕組みが必要」（堀田氏）となる。

住商情報システム株式会社 ITエンジニアリング事業部 HPCソリューション部 関西HPCソリューションチームの山崎順次氏は、本システムのデータ保護について次のように説明する。

「失ったら取り返しのつかないデータは、バックアップを取得することが前提となります。しかし、大容量データをフルバックアップしようとなると、それだけでストレージリソースの多くを消費してしまいます。そこで、スナップショットを利用してバックアップに要する時間とストレージ容量を大幅に削減する仕組みを構築しました」

具体的には、HP X9300 Network Storage Gateway配下にHP P4000 G2 SANを置き、重要データのファイルシステムのイメージをスナップショットとして保持する構成が採られた。HP X9300 Network Storage Gatewayは、SAN対応のゲートウェイ型ファイルサービスソリューションとして様々なストレージ製品をHP X9000のディスクアレイとして運用できる。ちなみにHP P4000 G2 SANは、他の多くのストレージ製品と異なりスナップショット機能を追加ライセンスなしで活用可能だ。

「また、新しいストレージシステムでは、エンドユーザーである研究者の使い勝手にも設計段階から十分に配慮しました。センターは共同利用研究施設という性格上、研究者ごとに様々な用途・目的で利用されています。そのため、多岐にわたるファイルの種類やサイズにおいて、快適な使い勝手を提供することが求められました」（堀田氏）

この難題に解決をもたらしたのが、巨大なシングルネームスペースを構成可能なHP X9000シリーズの「セグメント化ファイルシステムアーキテクチャー」である。住商情報システム株式会社 ITエンジニアリング事業部の宮澤剛氏は、次のように説明する。

「HP X9000では、数キロバイトから数ギガバイトにわたる様々なサイズ、様々な種類のファイルがすべてシングルネームスペースに置かれ、研究者は目的に応じてランダム／シーケンシャルの区別なくファイルへ瞬時にアクセスすることができます。しかも、HPCシステム特有の勝手の悪さがなく、研究者の方々が使い慣れたLinuxシステムを操作するような感覚で、HPCシステムとペタバイトクラスの大規模ストレージを利用できます。かつてない快適な利用環境が実現されました」
これまで蓄積されたファイルの数は1億数千万にものぼる。しかもサイズも種類もバラバラだ。一般的なファイルサーバー環境では、目的のファイルにアクセスするだけでも一定時間を要するが、HP X9000による本環境では「瞬時にlsコマンドの結果が返ってくる」（宮澤氏）という。

さらに、本システムでは「メタデータ・サーバー」を排除されている点も、ユーザーの利便性を高めることに貢献している。

「大規模なファイル管理では、実際のデータとは別にメタデータ（データに関連する情報）を管理する方法が一般的でした。しかし、この仕組みではユーザーからのアクセスのたびにメタデータへの参照が発生し、システム全体のボトルネックとなる可能性が高まります。本システムでは、HP X9000の複数のセグメントサーバーがファイルサービスを分散処理し、さらにメタデータもセグメントサーバー内で一元管理するためパフォーマンス低下が発生しないというメリットがあります」

さらに、システム運用管理の観点でも改善が図られているという。

宮澤氏は「HP X9000シリーズのシステム管理は、Webブラウザまたはコマンドラインのインタフェースを介してリモートで行えます。詳細なシステムレベルの管理についても、使い慣れたLinuxシステムの管理とほぼ同じ操作体系で行えます」とそのメリットを強調する。

2010年9月の稼働開始からおよそ1年が経過した。核物理研究センター「高性能計算機システム」の新しいストレージ基盤は期待どおりのパフォーマンスを発揮し、毎日600ものプロセスが流れるHPCシステムを支えている。しかも、アクセス不能やデータ消失といったトラブルに1度も直面することなく、ノンストップで安定稼働を続けている。

堀田氏によれば「高性能計算機システムは核物理研究に携わる組織・研究者の間で話題」となり、これまでセンターを利用していなかった研究者の利用が増えているという。

宮澤氏は「ストレージリソースの使用率は現在約60%で、今後5年間は拡張することなく余裕をもって利用できると予測しています。万一、5年を待たずに容量が限界に近づいたとしても、HP X9000のスケールアウトNASの特長を生かしてオンラインで容量を拡張できますから安心できます」と語る。

核物理研究センターが長年培ってきたHPCユーザーとしての経験とノウハウ、データ移行から構築・運用までの各フェーズでリーダーシップを発揮したSCSのインテグレーション能力、スケールアウトNASとしてのHP X9000のポテンシャル――3者がそれぞれの強みが発揮されたことが、プロジェクトの完遂につながったと言えるだろう。

新しいストレージ基盤が核物理研究センターでの研究活動に具体的にもたらしたメリットは大きい。研究者の観点から、堀田氏は「研究領域の拡大と個々の研究内容の深化」という成果を強調する。

「HP X9000シリーズでストレージ基盤を構築したことで、以前なら断念せざるをえなかったような大規模な実験研究も余裕をもって実施できるようになりました。加えて、1つの実験研究においても、データの取得方法や対象データの範囲などを様々試みるという、実験の“角度”や“粒度”を自在に変更するなど精緻な解析が現実のものとなりました。これは実に大きな意義を持つことです。今後、研究の高度化がさらに進む中で、私たちは安心して研究活動に邁進することができます」（堀田氏）