「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>Azure]] --[[Azure HDInsight]] --[[Azure Databricks]] * 目次 [#i012a1b3] #contents *概要 [#bdf7f5bc] -.NET の経験あるいはコード ベースを持つ開発者が、~ ビッグ データ分析の世界へ参入できるように支援する。 --C# や F# のような使い慣れた言語を使いたい --言語統合クエリ(LINQ)のような機能のサポート --リモートSparkクラスタへのアプリの送信や.NETアプリのデバッグ -Microsoftと.NET Foundationが開発 --2019/4に最初のバージョンが公開 --2020/10/27に1.0がリリース~ ---.NET Standard 2.0以降をターゲット~ (.NET Core 3.1以降を推奨) ---GitHub ページや NuGet から入手可能 ---[[以下の機能>#b15c164e]]をサポートしている。 -Apache Sparkクラウドサービス等で利用可能 --[[Azure Synapse]] --[[Azure HDInsight]] --[[Azure Databricks]] -今後の見通し --前提条件や依存関係の設定 --質の高いドキュメント --コミュニティが提供する ---すぐに実行できる Dockerイメージ ---.NET for Apache Sparkのドキュメントの更新 --デプロイメントオプション ---CI/CD デップスパイプラインとの統合 ---Visual Studioから直接ジョブを発行 *詳細 [#i027473b] **機能 [#b15c164e] -Spark DataFrame APIへのアクセス -Spark SQLの記述 -ユーザー定義関数(UDF)作成 -API拡張フレームワーク --Linux Foundation Delta Lake --Microsoft OSS Hyperspace --MLlib、ML.NET **[[チュートリアル>.NET for Apache Sparkチュートリアル]] [#t3e0dbcd] *参考 [#t879798a] -NuGet Gallery | Microsoft.Spark~ https://www.nuget.org/packages/Microsoft.Spark/ -.NET for Apache Spark~ https://dotnetfoundation.org/projects/dotnet-spark -MicrosoftがApache Spark向けの高性能C#およびF#サポートをリリース~ https://www.infoq.com/jp/news/2019/06/microsoft-net-apache-spark/ -データ解析フレームワーク.NET for Apache Spark 1.0リリース - Microsoft | マイナビニュース~ https://news.mynavi.jp/article/20201027-1439818/ -.NET for Apache Spark - Databricks~ https://databricks.com/jp/session_eu19/net-for-apache-spark **github.com [#s589254d] -dotnet/spark:~ .NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.~ https://github.com/dotnet/spark --README~ https://github.com/dotnet/spark/blob/master/README.md ---Get Started~ https://github.com/dotnet/spark/blob/master/README.md#get-started ---Samples~ https://github.com/dotnet/spark/blob/master/README.md#samples ---Inspiration and Special Thanks~ https://github.com/dotnet/spark/blob/master/README.md#inspiration-and-special-thanks --ROADMAP~ https://github.com/dotnet/spark/blob/master/ROADMAP.md **msdn.com [#y8581d41] ***Channel 9 > .NET for Apache Spark 101 [#vf8b2398] https://channel9.msdn.com/Series/NET-for-Apache-Spark-101 -What is .NET for Apache Spark? [1 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/What-is-NET-for-Apache-Spark -Run Your First .NET for Apache Spark App [2 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Run-Your-First-NET-for-Apache-Spark-App -Batch Processing with .NET for Apache Spark [3 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Batch-Processing-with-NET-for-Apache-Spark -Structured Streaming with .NET for Apache Spark [4 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Structured-Streaming-with-NET-for-Apache-Spark -Sentiment Analysis with .NET for Apache Spark and ML.NET --Part 1 [5 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-1 --Part 2 [6 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-2 -Deploy .NET for Apache Spark App to --Azure Databricks [7 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-Databricks --Azure HDInsight [8 of 8]~ https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-HDInsight **microsoft.com [#b6f77122] ***.NET Blog [#m5822c13] -Spark Archives~ https://devblogs.microsoft.com/dotnet/tag/spark/ --Introducing .NET for Apache® Spark™ Preview~ https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/ --Big Plans for Big Data and .NET for Spark~ https://devblogs.microsoft.com/dotnet/big-plans-for-big-data-and-net-for-spark/ ***.NET for Apache Spark [#t716f795] -.NET for Apache Spark™ | Big data analytics~ https://dotnet.microsoft.com/apps/data/spark --[[Channel 9 > .NET for Apache Spark 101>#vf8b2398]] --[[Apache Spark with C# or F#>#w086a731]] --[[.NET for Apache Spark performance>https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/#performance]] --[[ML.NET | Machine Learning made for .NET>https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet]] --[[Visit .NET for Apache Spark on GitHub>#s589254d]] --.NET for Apache Spark Tutorial | Get started in 10 minutes~ https://dotnet.microsoft.com/learn/data/spark-tutorial/intro ---Install .NET~ https://dotnet.microsoft.com/learn/data/spark-tutorial/install-dotnet ---Install Prerequisites~ https://dotnet.microsoft.com/learn/data/spark-tutorial/install-pre-reqs ---Install Apache Spark~ https://dotnet.microsoft.com/learn/data/spark-tutorial/install-spark ---Install .NET for Apache Spark~ https://dotnet.microsoft.com/learn/data/spark-tutorial/install-worker ---Create your app~ https://dotnet.microsoft.com/learn/data/spark-tutorial/create ---Install NuGet package~ https://dotnet.microsoft.com/learn/data/spark-tutorial/install-package ---Add data file~ https://dotnet.microsoft.com/learn/data/spark-tutorial/data ---Code your app~ https://dotnet.microsoft.com/learn/data/spark-tutorial/code ---Run your app~ https://dotnet.microsoft.com/learn/data/spark-tutorial/run ***Microsoft Docs > .NET for Apache Spark ガイド [#w086a731] -.NET for Apache Spark のドキュメント~ https://docs.microsoft.com/ja-jp/dotnet/spark/ -概要 --Apache Spark とは~ https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-spark --.NET for Apache Spark とは~ https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-apache-spark-dotnet -チュートリアル --.NET for Apache Spark の概要(作業開始)~ https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/get-started --その他のチュートリアル ---.NET for Apache Spark を使用したバッチ処理のチュートリアル~ https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/batch-processing ---.NET for Apache Spark を使用した構造化ストリーミングのチュートリアル~ https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/streaming ---.NET for Apache Spark と ML.NET での感情分析のチュートリアル~ https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/ml-sentiment-analysis --.NET for Apache Spark アプリケーションをデプロイする~ ---Azure HDInsight~ https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/hdinsight-deployment ---Azure Databricks~ https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/databricks-deployment -使い方ガイド --データへの接続 ---Azure Storage ---Event Hubs ---Mongo DB ---SQL Server --アプリケーションをビルドする ---Ubuntu ---Windows --リモート ジョブを送信する ---Azure Synapse Analytics にジョブを送信する ---Databricks にジョブを送信する ---HDInsight にジョブを送信する --ユーザー定義関数 (UDF) ---UDF ガイド ---.NET での Java UDF ---.NET Interactive での UDF ---ワーカーおよび UDF のバイナリを展開する --Jupyter Notebook の使用 --配信ガイド --アプリケーションをデバッグする --Azure HDInsight に対話型ノートブックをインストールする **[[開発基盤部会 Wiki>Azure HDInsight#v38c7e35]] [#zf579f45] ---- Tags: [[:クラウド]], [[:Azure]]