「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
- Apache Spark ベースのビッグデータ分析プラットフォーム
- Azure HDInsightとの違いは、
- Apache Sparkに特化している。
- Hadoop テクノロジ スタックをドロップ
HDFSではない、データ ソースを使用できる。
- データ レイク（Azure Blob Storage or Azure Data Lake Storage）
- その他、Azure Cosmos DB、Azure SQL Data Warehouseなど。
- ビッグデータ分析ワークロード
- データ・パイプラインの過程で利用する。
- ETLのようなバッチ処理で使用する。
- データ・サイエンティスト向けのフル稼働の計算資源
には向かない（→Data Science Virtual Machines）。
詳細 †
取り敢えず、.NET for Apache Spark ガイドのコンテンツをやってみる。
参考 †
gihyo.jp … 技術評論社 †
クリエーションライン株式会社 †
Microsoft Azure †
Microsoft Docs †
Azure Databricks のドキュメント †
https://docs.microsoft.com/ja-jp/azure/databricks/
- チュートリアル
- Docker コンテナで稼働している SQL Server に対するクエリ
- Azure Key Vault を使用したストレージへのアクセス
- Cosmos DB サービス エンドポイントの使用
- ETL 操作の実行
- Event Hubs を使用したデータのストリーミング
- Cognitive Services を使用した感情分析
.NET、C# †
Tags: :クラウド, :Azure
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
