「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>大量データの処理方式]] * 目次 [#jadeb250] #contents *概要 [#h7e77da2] -RDB --インメモリデータベース --SSDアプライアンス、インスタンス --Elastic DB -非RDB --DWH --Hadoop --NoSQL 等を組み合わせた大量データの処理方式についてまとめる予定です。 *RDB [#ke8f89d5] **インメモリデータベース [#q3bc3fe5] ***[[メモリ最適化データベースエンジン]] [#xdd3edcd] **SSDアプライアンス、インスタンス [#pef5e572] SQL Server 2014 の[[バッファー プール拡張]]のようなテンポラリの領域として如何に使用する。 ***SQL Server SSD Appliance [#fe304178] -SQL Server SSD Appliance、まずは6社から一斉に提供開始 - @IT~ http://www.atmarkit.co.jp/ait/articles/1212/17/news062.html -圧倒的なパフォーマンスを、アプライアンスの手軽さで 200 万円台から [SQL Server SSD Appliance] | MSBC - MSBC~ https://www.microsoft.com/japan/msbc/Express/campaign/SSD/ ***SSD 付きインスタンス D シリーズ [#ee857be0] -仮想マシンに SSD 付きインスタンス D シリーズが追加されたのでディスク性能を測定してみました at SE の雑記~ http://blog.engineer-memo.com/2014/09/23/%E4%BB%AE%E6%83%B3%E3%83%9E%E3%82%B7%E3%83%B3%E3%81%AB-ssd-%E4%BB%98%E3%81%8D%E3%82%A4%E3%83%B3%E3%82%B9%E3%82%BF%E3%83%B3%E3%82%B9-d-%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA%E3%81%8C%E8%BF%BD%E5%8A%A0/ **Elastic DB [#u1ee768f] -RDBには、トランザクション処理の信頼性を保証するために求められる性質(ACID)を実装するためスケールアウトが困難。 -Elastic DBは以下を組み合わせた機能。 --複数DBインスタンスのプールを管理する機能 --分割キーにより複数DBインスタンスへの水平分散 --分散トランザクション ***[[Elastic Scale, Elastic Database Pool]] [#fd9276d0] **参考 [#xd2cd155] ***[[.NETでバッチは書けるか?]] [#wbedba94] ***[[SQL Server 大量データ処理時の性能問題]] [#le94e9c4] *not RDB [#z052c2b3] **DWH [#z4630407] ***重視するもの [#e1284126] -構造化データ -非ビッグデータ -バッチ処理(分析集計) ***[[SSAS]] [#mcdb5c33] **[[分散処理>https://dotnetdevelopmentinfrastructure.osscons.jp:443/index.php?%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86]] [#tacb6326] ***重視するもの [#ea9e58fd] -非構造化データ -ビッグデータ ***[[分散(バッチ)>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86#o97a1890]] [#rcbc24ad] ***[[ストリーム>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86#m55c61c3]] [#p25cba24] **[[NoSQL>http://dotnetdevelopmentinfrastructure.osscons.jp/index.php?NoSQL]] [#eaff1e8c] ***重視するもの [#bc94bcb1] -非構造化データ -ビッグデータ -オンライン処理 *クエリ [#if0cf7a9] **SQL [#c70ea2ed] **HiveQL [#ab2ad5b5] **PolyBase [#nec23aa5] **SQL-H [#y2db9326] Teradata の SQL-H **Apache [#a790e7ce] ***Drill [#e4bc5b99] ***Sqoop [#tebf0d93] **Cloudera Impala [#cd85d3ea] ---- Tags: [[:データアクセス]]