大量データの処理方式3

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • 大量データの処理方式1
  • 大量データの処理方式2
  • 大量データの処理方式3

目次 †

概要 †

大量データ向けのプロダクトを使用した処理方式についてまとめる予定。

• RDB
  • インメモリデータベース
  • SSDアプライアンス、インスタンス
  • Elastic DB

• 非RDB
  • DWH
  • NoSQL
  • 分散処理系

RDB †

インメモリデータベース †

メモリ最適化データベースエンジン †

SSDアプライアンス、インスタンス †

SQL Server 2014 のバッファー プール拡張のようなテンポラリの領域として如何に使用する。

SQL Server SSD Appliance †

• SQL Server SSD Appliance、まずは6社から一斉に提供開始 - ＠IT
  http://www.atmarkit.co.jp/ait/articles/1212/17/news062.html
• 圧倒的なパフォーマンスを、アプライアンスの手軽さで 200 万円台から [SQL Server SSD Appliance] | MSBC - MSBC
  https://www.microsoft.com/japan/msbc/Express/campaign/SSD/

SSD 付きインスタンス D シリーズ †

• 仮想マシンに SSD 付きインスタンス D シリーズが追加されたのでディスク性能を測定してみました at SE の雑記
  http://blog.engineer-memo.com/2014/09/23/%E4%BB%AE%E6%83%B3%E3%83%9E%E3%82%B7%E3%83%B3%E3%81%AB-ssd-%E4%BB%98%E3%81%8D%E3%82%A4%E3%83%B3%E3%82%B9%E3%82%BF%E3%83%B3%E3%82%B9-d-%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA%E3%81%8C%E8%BF%BD%E5%8A%A0/

Elastic DB †

• RDBには、トランザクション処理の信頼性を保証するために求められる性質（ACID）を実装するためスケールアウトが困難。

• Elastic DBは以下を組み合わせた機能。
  • 複数DBインスタンスのプールを管理する機能
  • 分割キーにより複数DBインスタンスへの水平分散
  • 分散トランザクション

Elastic Scale, Elastic Database Pool †

参考 †

.NETでバッチは書けるか？ †

SQL Server 大量データ処理時の性能問題 †

not RDB †

DWH †

重視するもの †

• 構造化データ
• 非ビッグデータ
• バッチ処理（分析集計）

プロダクト †

• SSAS
• Azure Synapse
• Azure Analysis Services

NoSQL †

重視するもの †

• 非構造化データ
• ビッグデータ
• オンライン処理

プロダクト †

分散処理 †

重視するもの †

• 非構造化データ
• ビッグデータ

プロダクト †

クエリ †

プロダクト毎に様々なクエリがある。

• 元来、SQLはRDB向けのクエリを意味する。
• 昨今、RDBではないNoSQLのクエリにもSQLと言う文言が利用されている。

SQL †

最も代表的で標準化されているRDB向けのクエリ。

Spark SQL †

Spark向けのクエリ。

HiveQL †

Apache Hiveのクエリ。

PolyBase? †

SQL ServerのNoSQLのクエリ。

SQL-H †

Teradata の SQL-H

Apache †

Drill †

Sqoop †

Cloudera Impala †

Tags: :データアクセス, :ビッグデータ