Azure HDInsight のバックアップ(No.7) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- Azure HDInsight
- Azure Databricks

目次 †

目次
概要
詳細
参考

概要 †

Hadoop テクノロジスタックを使用した
エンタープライズ向けデータ分析マネージド・サービス

Hadoop テクノロジスタック
- Hadoop
- Apache Spark
- Apache Hive
- LLAP
- Apache Kafka
- Apache Storm
- R

詳細 †

とりあえず、.NET for Apache Spark ガイドのコンテンツをやってみる。

参考 †

Microsoft Azure / Azure HDInsightとは
https://www.ossnews.jp/oss_info/Azure_HDInsight

gihyo.jp … 技術評論社 †

HDInsightを知る～ビッグデータ×クラウド：連載
https://gihyo.jp/dev/serial/01/hdinsight
- 第1回　HDInsightとは何か？
  https://gihyo.jp/dev/serial/01/hdinsight/0001
- 第2回　HDInsightを体験する
  https://gihyo.jp/dev/serial/01/hdinsight/0002

クリエーションライン株式会社 †

HadoopをMicrosoft Azure上で動かしてみる！
- （1/4）https://www.creationline.com/lab/12905
- （2/4）https://www.creationline.com/lab/12984
- （3/4）https://www.creationline.com/lab/13093
- （4/4）https://www.creationline.com/lab/13161

Microsoft Azurez †

Azure HDInsight - Hadoop、Spark、および Kafka サービス
https://azure.microsoft.com/ja-jp/services/hdinsight/

Azure でオープンソース分析を実行
https://azure.microsoft.com/ja-jp/free/hdinsight/

Microsoft Docs †

Azure HDInsight †

https://docs.microsoft.com/ja-jp/azure/hdinsight/

概要
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-overview

チュートリアル

HDInsight クラスターの作成

HDInsight クラスターの管理
- ポータル
- CLI
- .NET SDK
- PowerShell

その他
- Runbook を使用してクラスターを作成する
- Apache Ambari のメール通知
- ETL パイプラインの作成

サンプル
- Azure CLI のサンプル
- .NET のサンプル
- Java のサンプル
- Python のサンプル
- Azure サンプルブラウザ

.NET、C# †

Microsoft Docs
- Azure HDInsight SDK for .NET - Azure for .NET Developers
  https://docs.microsoft.com/ja-jp/dotnet/api/overview/azure/hdinsight

Microsoft Docs > Azure HDInsight

.NET サンプル
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-sdk-dotnet-samples
非対話型認証 .NET アプリケーション
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-create-non-interactive-authentication-dotnet-applications

Apache Hadoop

HDInsight .NET SDK を使用して MapReduce? ジョブを送信する
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-mapreduce-dotnet-sdk
HDInsight の Hadoop において MapReduce? で C# を使用する
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-dotnet-csharp-mapreduce-streaming

Apache HBase
- HBase .NET SDK の使用
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hbase/apache-hbase-rest-sdk

Interactive Query

Apache Hadoop 上での C#、Apache Hive、Apache Pig
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-hive-pig-udf-dotnet-csharp

HDInsight .NET SDK を使用して Apache Hive クエリを実行する
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-hive-dotnet-sdk

Apache Hive と Data Lake Tools for Visual Studio
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-hive-visual-studio

Apache Storm

Visual Studio と C# を使った Apache Storm トポロジ
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/apache-storm-develop-csharp-visual-studio-topology

Storm を使用して Event Hubs のイベントを処理する
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/apache-storm-develop-csharp-event-hub-topology

Apache Spark
- .NET for Apache Spark

.NET for Apache Spark ガイド †

開発基盤部会 Wiki †

ビッグデータ †

分散処理 †

Hadoop †

Tags: :クラウド, :Azure