マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

大量データ向けのプロダクトを使用した処理方式についてまとめる予定。

  • RDB
    • インメモリデータベース
    • SSDアプライアンス、インスタンス
    • Elastic DB
  • 非RDB
    • DWH
    • NoSQL
    • 分散処理系

RDB

インメモリデータベース

メモリ最適化データベースエンジン

SSDアプライアンス、インスタンス

SQL Server 2014 のバッファー プール拡張のようなテンポラリの領域として如何に使用する。

SQL Server SSD Appliance

SSD 付きインスタンス D シリーズ

Elastic DB

  • RDBには、トランザクション処理の信頼性を保証するために求められる性質(ACID)を実装するためスケールアウトが困難。
  • Elastic DBは以下を組み合わせた機能。
    • 複数DBインスタンスのプールを管理する機能
    • 分割キーにより複数DBインスタンスへの水平分散
    • 分散トランザクション

Elastic Scale, Elastic Database Pool

参考

.NETでバッチは書けるか?

SQL Server 大量データ処理時の性能問題

not RDB

DWH

重視するもの

  • 構造化データ
  • 非ビッグデータ
  • バッチ処理(分析集計)

プロダクト

NoSQL

重視するもの

  • 非構造化データ
  • ビッグデータ
  • オンライン処理

プロダクト

分散処理

重視するもの

  • 非構造化データ
  • ビッグデータ

プロダクト

クエリ

プロダクト毎に様々なクエリがある。

  • 元来、SQLはRDB向けのクエリを意味する。
  • 昨今、RDBではないNoSQLのクエリにもSQLと言う文言が利用されている。

SQL

最も代表的で標準化されているRDB向けのクエリ。

Spark SQL

Spark向けのクエリ。

HiveQL

Apache Hiveのクエリ。

PolyBase?

SQL ServerのNoSQLのクエリ。

SQL-H

Teradata の SQL-H

Apache

Drill

Sqoop

Cloudera Impala


Tags: :データアクセス, :ビッグデータ


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-07-14 (水) 17:21:37 (76d)