- 追加された行はこの色です。
- 削除された行はこの色です。
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。
-[[戻る>Azure]]
--[[Azure HDInsight]]
--[[Azure Databricks]]
* 目次 [#i012a1b3]
#contents
*概要 [#bdf7f5bc]
-.NET の経験あるいはコード ベースを持つ開発者が、~
ビッグ データ分析の世界へ参入できるように支援する。
--C# や F# のような使い慣れた言語を使いたい
--言語統合クエリ(LINQ)のような機能のサポート
--リモートSparkクラスタへのアプリの送信や.NETアプリのデバッグ
-Microsoftと.NET Foundationが開発
--2019/4に最初のバージョンが公開
--2020/10/27に1.0がリリース~
---.NET Standard 2.0以降をターゲット~
(.NET Core 3.1以降を推奨)
---GitHub ページや NuGet から入手可能
---[[以下の機能>#b15c164e]]をサポートしている。
-Apache Sparkクラウドサービス等で利用可能
--[[Azure Synapse]]
--[[Azure HDInsight]]
--[[Azure Databricks]]
-今後の見通し
--前提条件や依存関係の設定
--質の高いドキュメント
--コミュニティが提供する
---すぐに実行できる Dockerイメージ
---.NET for Apache Sparkのドキュメントの更新
--デプロイメントオプション
---CI/CD デップスパイプラインとの統合
---Visual Studioから直接ジョブを発行
*詳細 [#i027473b]
**経緯 [#hbb0cadb]
-Apache Spark用のバインディングであるPySpark(Python)やSparkR(R)と、~
同じ方式で実装された、Mobiusと言うC# と F# の言語バインディングを起点に開発された。
-Apache Arrow や Pyrolite によってJVMと.NET CLRの間の相互運用性を高めている。
--Apache Arrowは、言語に依存しないカラム状のメモリフォーマットを定義
--Pyroliteは、Javaや.NETとPythonを接続するのに良い選択
**機能 [#b15c164e]
-Spark DataFrame APIへのアクセス
-Spark SQLの記述
-ユーザー定義関数(UDF)作成
-API拡張フレームワーク
--Linux Foundation Delta Lake
--Microsoft OSS Hyperspace
--MLlib、ML.NET
***Spark DataFrame APIへのアクセス [#de5a4df9]
***Spark SQLの記述 [#x77ba954]
***ユーザー定義関数(UDF)作成 [#w1fa929a]
***API拡張フレームワーク [#q2a3f17e]
-Linux Foundation Delta Lake
-Microsoft OSS Hyperspace
-MLlib、ML.NET
**[[チュートリアル>.NET for Apache Sparkチュートリアル]] [#t3e0dbcd]
*参考 [#t879798a]
-NuGet Gallery | Microsoft.Spark~
https://www.nuget.org/packages/Microsoft.Spark/
-.NET for Apache Spark~
https://dotnetfoundation.org/projects/dotnet-spark
-MicrosoftがApache Spark向けの高性能C#およびF#サポートをリリース~
https://www.infoq.com/jp/news/2019/06/microsoft-net-apache-spark/
-データ解析フレームワーク.NET for Apache Spark 1.0リリース - Microsoft | マイナビニュース~
https://news.mynavi.jp/article/20201027-1439818/
-.NET for Apache Spark - Databricks~
https://databricks.com/jp/session_eu19/net-for-apache-spark
**github.com [#s589254d]
-dotnet/spark:~
.NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.~
https://github.com/dotnet/spark
--README~
https://github.com/dotnet/spark/blob/master/README.md
---Get Started~
https://github.com/dotnet/spark/blob/master/README.md#get-started
---Samples~
https://github.com/dotnet/spark/blob/master/README.md#samples
---Inspiration and Special Thanks~
https://github.com/dotnet/spark/blob/master/README.md#inspiration-and-special-thanks
--ROADMAP~
https://github.com/dotnet/spark/blob/master/ROADMAP.md
**msdn.com [#y8581d41]
***Channel 9 > .NET for Apache Spark 101 [#vf8b2398]
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101
-What is .NET for Apache Spark? [1 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/What-is-NET-for-Apache-Spark
-Run Your First .NET for Apache Spark App [2 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Run-Your-First-NET-for-Apache-Spark-App
-Batch Processing with .NET for Apache Spark [3 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Batch-Processing-with-NET-for-Apache-Spark
-Structured Streaming with .NET for Apache Spark [4 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Structured-Streaming-with-NET-for-Apache-Spark
-Sentiment Analysis with .NET for Apache Spark and ML.NET
--Part 1 [5 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-1
--Part 2 [6 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-2
-Deploy .NET for Apache Spark App to
--Azure Databricks [7 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-Databricks
--Azure HDInsight [8 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-HDInsight
**microsoft.com [#b6f77122]
***.NET Blog [#m5822c13]
-Spark Archives~
https://devblogs.microsoft.com/dotnet/tag/spark/
--Introducing .NET for Apache® Spark™ Preview~
https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/
--Big Plans for Big Data and .NET for Spark~
https://devblogs.microsoft.com/dotnet/big-plans-for-big-data-and-net-for-spark/
***.NET > .NET for Apache Spark [#t716f795]
-.NET for Apache Spark™ | Big data analytics~
https://dotnet.microsoft.com/apps/data/spark
--[[Channel 9 > .NET for Apache Spark 101>#vf8b2398]]
--[[Get started in 10 minutes > .NET for Apache Spark Tutorial>.NET for Apache Sparkチュートリアル#g7fce881]]
--[[Channel 9 > .NET for Apache Spark 101>.NET for Apache Sparkチュートリアル#vf8b2398]]
--[[Apache Spark with C# or F#>#w086a731]]
--[[.NET for Apache Spark performance>https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/#performance]]
--[[ML.NET | Machine Learning made for .NET>https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet]]
--[[Visit .NET for Apache Spark on GitHub>#s589254d]]
--.NET for Apache Spark Tutorial | Get started in 10 minutes~
https://dotnet.microsoft.com/learn/data/spark-tutorial/intro
---Install .NET~
https://dotnet.microsoft.com/learn/data/spark-tutorial/install-dotnet
---Install Prerequisites~
https://dotnet.microsoft.com/learn/data/spark-tutorial/install-pre-reqs
---Install Apache Spark~
https://dotnet.microsoft.com/learn/data/spark-tutorial/install-spark
---Install .NET for Apache Spark~
https://dotnet.microsoft.com/learn/data/spark-tutorial/install-worker
---Create your app~
https://dotnet.microsoft.com/learn/data/spark-tutorial/create
---Install NuGet package~
https://dotnet.microsoft.com/learn/data/spark-tutorial/install-package
---Add data file~
https://dotnet.microsoft.com/learn/data/spark-tutorial/data
---Code your app~
https://dotnet.microsoft.com/learn/data/spark-tutorial/code
---Run your app~
https://dotnet.microsoft.com/learn/data/spark-tutorial/run
***Microsoft Docs > .NET for Apache Spark ガイド [#w086a731]
-.NET for Apache Spark のドキュメント~
https://docs.microsoft.com/ja-jp/dotnet/spark/
-概要
--Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-spark
--.NET for Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-apache-spark-dotnet
-チュートリアル
--.NET for Apache Spark の概要(作業開始)~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/get-started
-[[チュートリアル>.NET for Apache Sparkチュートリアル]]
--その他のチュートリアル
---.NET for Apache Spark を使用したバッチ処理のチュートリアル~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/batch-processing
---.NET for Apache Spark を使用した構造化ストリーミングのチュートリアル~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/streaming
---.NET for Apache Spark と ML.NET での感情分析のチュートリアル~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/ml-sentiment-analysis
--.NET for Apache Spark アプリケーションをデプロイする~
---Azure HDInsight~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/hdinsight-deployment
---Azure Databricks~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/databricks-deployment
-使い方ガイド
--データへの接続
---Azure Storage
---Event Hubs
---Mongo DB
---SQL Server
--アプリケーションをビルドする
---Ubuntu
---Windows
--リモート ジョブを送信する
---Azure Synapse Analytics にジョブを送信する
---Databricks にジョブを送信する
---HDInsight にジョブを送信する
--ユーザー定義関数 (UDF)
---UDF ガイド
---.NET での Java UDF
---.NET Interactive での UDF
---ワーカーおよび UDF のバイナリを展開する
--Jupyter Notebook の使用
--配信ガイド
--アプリケーションをデバッグする
--Azure HDInsight に対話型ノートブックをインストールする
**[[開発基盤部会 Wiki>Azure HDInsight#v38c7e35]] [#zf579f45]
----
Tags: [[:クラウド]], [[:Azure]]