コース詳細

• MapReduceとHDFS(Hadoop Distributed File System)がどのように動作するか
• またはその他のプログラミング言語でMapReduceコードを記述する方法
• MapReduceジョブを開発する際に考えられる問題は何か
• Hadoopで一般的なアルゴリズムをどのように実装するか
• Hadoopの開発とデバッグのベストプラクティス
• Apache Hive, Apache Pig, ScoopとOozieのようなその他のプロジェクトをどのように利用するか
• 現実のデータ分析に必要な高度なHadoop APIのトピック

• はじめに


• Hadoopの動機
  • 従来の大規模システムでの問題
  • 新しいアプローチのための要件


• Hadoop：基本概念
  • Hadoopの概要
  • Hadoop分散ファイルシステム(HDFS)
  • ハンズオン演習
  • MapReduceはどのように動作するか
  • ハンズオン演習
  • Hadoopクラスタの構造
  • その他のHadoopエコシステムコンポーネント


• MapReduceプログラムの作成
  • MapReduceのフロー
  • サンプルMapReduceのプログラムを調査する
  • 基本的なMapReduceのAPIの概念
  • ドライバーコード
  • Mapper
  • Reducer
  • HadoopのStreaming API
  • 迅速な開発のためにEclipseを使用する
  • ハンズオン演習
  • 新しいReduce API


• Hadoopをワークフローに統合する
  • リレーショナルデータベース管理システム
  • ストレージシステム
  • ScoopによるRDBMSからデータのインポート
  • ハンズオン演習
  • Flumeによるリアルタイムデータのインポート
  • FuseDFSとHoopを使用したHDFSにアクセスする


• Hadoop APIの詳細
  • ToolRunnerの詳細
  • MRUnitによるテスト
  • Combinerによる中間データの削減
  • Map/Reducerセットアップとティアダウンのためのconfigureとcloseメソッド
  • 良好なロードバランスのためにパーティショナーを記述する
  • ハンズオン演習
  • HDFSへの直接アクセス
  • 分散キャッシュの使用
  • ハンズオン演習


• 一般的なMapReduceアルゴリズム
  • ソートと検索
  • インデックス
  • Mahoutによる機械学習
  • 出現頻度-逆文書頻度(TF-IDF)
  • 単語共起
  • ハンズオン演習


• HiveとPigの使用する
  • Hiveの基本
  • Pigの基本
  • ハンズオン演習


• 実用的な開発のヒントとテクニック
  • MapReduceのコードのデバッグ
  • 容易なデバッグのためのLocalJobRunnerモードの使用
  • カウンタを使用してジョブ情報を取得
  • ロギング
  • 分割可能なファイル形式
  • Reducerの最適数を決定
  • MapのみのMapReduceのジョブ
  • ハンズオン演習


• より高度なMapReduceプログラミング
  • カスタムのWritableとWritableComparable
  • SequenceFileとAvroファイルを使用してバイナリデータを保存する
  • InputFormatとOutputFormatを作成する
  • ハンズオン演習


• MapReduceでデータセットを結合する
  • Map側結合
  • セカンダリソート
  • Reduce側結合


• HadoopでのGraph操作
  • グラフのテクニックの紹介
  • Hadoopで表すグラフ
  • 単一始点最短路
  • ハンズオン演習
  • サンプルのアルゴリズムを実装


• Oozieによるワークフローの作成
  • Oozieの動機
  • Oozieのワークフロー定義フォーマット
  • ハンズオン演習

≫ このページのトップへ