HP ProLiant MPサーバー

今日、企業間取引の履歴から個人がソーシャルメディアを通じて受発信するメッセージや画像に至るまで、ネットワークを行き交うあらゆるデータが次のビジネスチャンスを生み出すキーになると考えられており、結果として企業のデータベースに蓄積されるデータ量は爆発的に増加する傾向にあります。そして、データベースの効率的なバッチ処理は大きな課題となっており、データのより迅速なビジネス活用のためには、バッチ処理性能の高速化が大きな鍵となっています。バッチ処理が想定時間内に終わらず、ビジネスに影響を及ぼす事態を避けるためにも、将来想定されるデータ容量を含めたバッチ処理要件を満たすシステム設計の事前検証は、非常に重要です。

また、分散技術の「Hadoop」を利用したバッチ処理にも向き/不向きがあります。複数台のサーバーを連携させての処理のため、ネットワークI/Oがボトルネックとなり、1ノードの環境の方が速い場合もあります。「Hadoop」はアプリケーションの描き直しや分散処理特有の「処理量の偏り」を最適化するノウハウも必要となります。

一方、近年では、システムの効率化のための様々な技術が登場しています。ストレージI/Oのボトルネックを解消し、処理を高速化する10TBの半導体ストレージであるHP VMAシリーズ。シングルシステムで8ソケット80コアの環境を構築できる、インテル® Xeon® プロセッサー E7ファミリーを搭載するHP ProLiant DL980 G7。Linuxカーネルに仮想化ソフトウェアの機能を統合したLinux KVM（Kernel-based Virtual Machine）。こうした最新技術は、バッチ処理にとって理想的な環境の構築を可能にします。

1台のマシン上で昼の時間はOTLP処理、夜の時間はバッチ処理を行う、高速かつ効率的なシステム構成 ──

レッドハットと日本HPは、このようなバッチ処理の理想的な環境で1億レコードの最速バッチ処理に挑戦してみました。