.NET for Apache Spark
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-戻る
--[[.NET開発]]
--[[Azure]]
---[[Azure HDInsight]]
---[[Azure Databricks]]
* 目次 [#i012a1b3]
#contents
*概要 [#bdf7f5bc]
-.NET の経験あるいはコード ベースを持つ開発者が、~
ビッグ データ分析の世界へ参入できるように支援する。
--C# や F# のような使い慣れた言語を使いたい
--言語統合クエリ（LINQ）のような機能のサポート
--リモートSparkクラスタへのアプリの送信や.NETアプリのデバ...
-Microsoftと.NET Foundationが開発
--2019/4に最初のバージョンが公開
--2020/10/27に1.0がリリース~
---.NET Standard 2.0以降をターゲット~
（.NET Core 3.1以降を推奨）
---GitHub ページや NuGet から入手可能
---[[以下の機能>#b15c164e]]をサポートしている。
-Apache Sparkクラウドサービス等で利用可能
--[[Azure Synapse]]
--[[Azure HDInsight]]
--[[Azure Databricks]]
-今後の見通し
--前提条件や依存関係の設定
--質の高いドキュメント
--コミュニティが提供する
---すぐに実行できる Dockerイメージ
---.NET for Apache Sparkのドキュメントの更新
--デプロイメントオプション
---CI/CD デップスパイプラインとの統合
---Visual Studioから直接ジョブを発行
*詳細 [#i027473b]
**経緯 [#hbb0cadb]
-Apache Spark用のバインディングである[[PySpark（Python）>...
同じ方式で実装された、Mobiusと言うC# と F# の言語バインデ...
-Apache Arrow や Pyrolite によってJVMと.NET CLRの間の相互...
--Apache Arrowは、言語に依存しないカラム状のメモリフォー...
--Pyroliteは、Javaや.NETと[[Python>Visual Studio Code#red...
**機能 [#b15c164e]
***[[Spark DataFrameとSpark SQL>https://dotnetdevelopment...
***ユーザー定義関数（UDF）作成 [#w1fa929a]
-[[Spark SQLやDataFrame API>https://dotnetdevelopmentinfr...
分散データ操作に、ユーザが定義した関数を使用できる。
-参考
--[[.NET for Apache Spark ガイド>#w086a731]]
--[[.NET for Apache Sparkチュートリアル]]
***API拡張フレームワーク [#q2a3f17e]
-Linux Foundation Delta Lake
-Microsoft OSS Hyperspace
-[[MLlib>https://dotnetdevelopmentinfrastructure.osscons....
**使用方法 [#r680037c]
***[[チュートリアル>.NET for Apache Sparkチュートリアル]]...
***[[データへの接続>.NET for Apache Sparkのデータ接続]] [...
*参考 [#t879798a]
-NuGet Gallery | Microsoft.Spark~
https://www.nuget.org/packages/Microsoft.Spark/
-.NET for Apache Spark~
https://dotnetfoundation.org/projects/dotnet-spark
-.NET for Apache Spark - Databricks~
https://databricks.com/jp/session_eu19/net-for-apache-spark
-MicrosoftがApache Spark向けの高性能C#およびF#サポートを...
https://www.infoq.com/jp/news/2019/06/microsoft-net-apach...
-データ解析フレームワーク.NET for Apache Spark 1.0リリー...
https://news.mynavi.jp/article/20201027-1439818/
**github.com [#s589254d]
-dotnet/spark:~
.NET for Apache® Spark™ makes Apache Spark™ easily access...
https://github.com/dotnet/spark
--README~
https://github.com/dotnet/spark/blob/master/README.md
---Get Started~
https://github.com/dotnet/spark/blob/master/README.md#get...
---Samples~
https://github.com/dotnet/spark/blob/master/README.md#sam...
---Inspiration and Special Thanks~
https://github.com/dotnet/spark/blob/master/README.md#ins...
--ROADMAP~
https://github.com/dotnet/spark/blob/master/ROADMAP.md
**microsoft.com [#b6f77122]
***.NET Blog [#m5822c13]
-Spark Archives~
https://devblogs.microsoft.com/dotnet/tag/spark/
--Introducing .NET for Apache® Spark™ Preview~
https://devblogs.microsoft.com/dotnet/introducing-net-for...
--Big Plans for Big Data and .NET for Spark~
https://devblogs.microsoft.com/dotnet/big-plans-for-big-d...
***.NET > .NET for Apache Spark [#t716f795]
-.NET for Apache Spark™ | Big data analytics~
https://dotnet.microsoft.com/apps/data/spark
--[[Get started in 10 minutes > .NET for Apache Spark Tut...
--[[Channel 9 > .NET for Apache Spark 101>.NET for Apache...
--[[Apache Spark with C# or F#>#w086a731]]
--[[.NET for Apache Spark performance>https://devblogs.mi...
--[[ML.NET | Machine Learning made for .NET>https://dotne...
--[[Visit .NET for Apache Spark on GitHub>#s589254d]]
***Microsoft Docs > .NET for Apache Spark ガイド [#w086a7...
-.NET for Apache Spark のドキュメント~
https://docs.microsoft.com/ja-jp/dotnet/spark/
-概要
--Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-spark
--.NET for Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-apa...
-使い方ガイド
--[[データへの接続>.NET for Apache Sparkのデータ接続#i96a...
--アプリケーションをビルドする
---Ubuntu
---Windows
--リモート ジョブを送信する
---Azure Synapse Analytics にジョブを送信する
---[[HDInsight にジョブを送信する>Azure HDInsight#w086a73...
---[[Databricks にジョブを送信する>Azure Databricks#qb9dd...
--ユーザー定義関数 (UDF)
---UDF ガイド
---.NET での Java UDF
---.NET Interactive での UDF
---ワーカーおよび UDF のバイナリを展開する
--Jupyter Notebook の使用
--配信ガイド
--アプリケーションをデバッグする
--Azure HDInsight に対話型ノートブックをインストールする
-[[チュートリアル>.NET for Apache Sparkチュートリアル#zd2...
**開発基盤部会 Wiki & Blog [#zf579f45]
***[[ビッグデータ>https://dotnetdevelopmentinfrastructure...
***[[分散処理>https://dotnetdevelopmentinfrastructure.oss...
-[[分散（バッチ）系>https://dotnetdevelopmentinfrastructu...
-[[ストリーム系>https://dotnetdevelopmentinfrastructure.o...
-[[データ収集・格納系>https://dotnetdevelopmentinfrastruc...
***プロダクト [#n8d2d22f]
-[[Hadoop>https://dotnetdevelopmentinfrastructure.osscons...
-[[Apache Spark>https://dotnetdevelopmentinfrastructure.o...
-[[Apache Kafka>https://dotnetdevelopmentinfrastructure.o...
***Blog [#ef79347f]
-.NET for Apache Sparkで見えた、配管工おじさん入門への道~
https://www.osscons.jp/joj7rztvv-537/
----
Tags: [[:クラウド]], [[:Azure]], [[:.NET開発]], [[:.NET C...
終了行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-戻る
--[[.NET開発]]
--[[Azure]]
---[[Azure HDInsight]]
---[[Azure Databricks]]
* 目次 [#i012a1b3]
#contents
*概要 [#bdf7f5bc]
-.NET の経験あるいはコード ベースを持つ開発者が、~
ビッグ データ分析の世界へ参入できるように支援する。
--C# や F# のような使い慣れた言語を使いたい
--言語統合クエリ（LINQ）のような機能のサポート
--リモートSparkクラスタへのアプリの送信や.NETアプリのデバ...
-Microsoftと.NET Foundationが開発
--2019/4に最初のバージョンが公開
--2020/10/27に1.0がリリース~
---.NET Standard 2.0以降をターゲット~
（.NET Core 3.1以降を推奨）
---GitHub ページや NuGet から入手可能
---[[以下の機能>#b15c164e]]をサポートしている。
-Apache Sparkクラウドサービス等で利用可能
--[[Azure Synapse]]
--[[Azure HDInsight]]
--[[Azure Databricks]]
-今後の見通し
--前提条件や依存関係の設定
--質の高いドキュメント
--コミュニティが提供する
---すぐに実行できる Dockerイメージ
---.NET for Apache Sparkのドキュメントの更新
--デプロイメントオプション
---CI/CD デップスパイプラインとの統合
---Visual Studioから直接ジョブを発行
*詳細 [#i027473b]
**経緯 [#hbb0cadb]
-Apache Spark用のバインディングである[[PySpark（Python）>...
同じ方式で実装された、Mobiusと言うC# と F# の言語バインデ...
-Apache Arrow や Pyrolite によってJVMと.NET CLRの間の相互...
--Apache Arrowは、言語に依存しないカラム状のメモリフォー...
--Pyroliteは、Javaや.NETと[[Python>Visual Studio Code#red...
**機能 [#b15c164e]
***[[Spark DataFrameとSpark SQL>https://dotnetdevelopment...
***ユーザー定義関数（UDF）作成 [#w1fa929a]
-[[Spark SQLやDataFrame API>https://dotnetdevelopmentinfr...
分散データ操作に、ユーザが定義した関数を使用できる。
-参考
--[[.NET for Apache Spark ガイド>#w086a731]]
--[[.NET for Apache Sparkチュートリアル]]
***API拡張フレームワーク [#q2a3f17e]
-Linux Foundation Delta Lake
-Microsoft OSS Hyperspace
-[[MLlib>https://dotnetdevelopmentinfrastructure.osscons....
**使用方法 [#r680037c]
***[[チュートリアル>.NET for Apache Sparkチュートリアル]]...
***[[データへの接続>.NET for Apache Sparkのデータ接続]] [...
*参考 [#t879798a]
-NuGet Gallery | Microsoft.Spark~
https://www.nuget.org/packages/Microsoft.Spark/
-.NET for Apache Spark~
https://dotnetfoundation.org/projects/dotnet-spark
-.NET for Apache Spark - Databricks~
https://databricks.com/jp/session_eu19/net-for-apache-spark
-MicrosoftがApache Spark向けの高性能C#およびF#サポートを...
https://www.infoq.com/jp/news/2019/06/microsoft-net-apach...
-データ解析フレームワーク.NET for Apache Spark 1.0リリー...
https://news.mynavi.jp/article/20201027-1439818/
**github.com [#s589254d]
-dotnet/spark:~
.NET for Apache® Spark™ makes Apache Spark™ easily access...
https://github.com/dotnet/spark
--README~
https://github.com/dotnet/spark/blob/master/README.md
---Get Started~
https://github.com/dotnet/spark/blob/master/README.md#get...
---Samples~
https://github.com/dotnet/spark/blob/master/README.md#sam...
---Inspiration and Special Thanks~
https://github.com/dotnet/spark/blob/master/README.md#ins...
--ROADMAP~
https://github.com/dotnet/spark/blob/master/ROADMAP.md
**microsoft.com [#b6f77122]
***.NET Blog [#m5822c13]
-Spark Archives~
https://devblogs.microsoft.com/dotnet/tag/spark/
--Introducing .NET for Apache® Spark™ Preview~
https://devblogs.microsoft.com/dotnet/introducing-net-for...
--Big Plans for Big Data and .NET for Spark~
https://devblogs.microsoft.com/dotnet/big-plans-for-big-d...
***.NET > .NET for Apache Spark [#t716f795]
-.NET for Apache Spark™ | Big data analytics~
https://dotnet.microsoft.com/apps/data/spark
--[[Get started in 10 minutes > .NET for Apache Spark Tut...
--[[Channel 9 > .NET for Apache Spark 101>.NET for Apache...
--[[Apache Spark with C# or F#>#w086a731]]
--[[.NET for Apache Spark performance>https://devblogs.mi...
--[[ML.NET | Machine Learning made for .NET>https://dotne...
--[[Visit .NET for Apache Spark on GitHub>#s589254d]]
***Microsoft Docs > .NET for Apache Spark ガイド [#w086a7...
-.NET for Apache Spark のドキュメント~
https://docs.microsoft.com/ja-jp/dotnet/spark/
-概要
--Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-spark
--.NET for Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-apa...
-使い方ガイド
--[[データへの接続>.NET for Apache Sparkのデータ接続#i96a...
--アプリケーションをビルドする
---Ubuntu
---Windows
--リモート ジョブを送信する
---Azure Synapse Analytics にジョブを送信する
---[[HDInsight にジョブを送信する>Azure HDInsight#w086a73...
---[[Databricks にジョブを送信する>Azure Databricks#qb9dd...
--ユーザー定義関数 (UDF)
---UDF ガイド
---.NET での Java UDF
---.NET Interactive での UDF
---ワーカーおよび UDF のバイナリを展開する
--Jupyter Notebook の使用
--配信ガイド
--アプリケーションをデバッグする
--Azure HDInsight に対話型ノートブックをインストールする
-[[チュートリアル>.NET for Apache Sparkチュートリアル#zd2...
**開発基盤部会 Wiki & Blog [#zf579f45]
***[[ビッグデータ>https://dotnetdevelopmentinfrastructure...
***[[分散処理>https://dotnetdevelopmentinfrastructure.oss...
-[[分散（バッチ）系>https://dotnetdevelopmentinfrastructu...
-[[ストリーム系>https://dotnetdevelopmentinfrastructure.o...
-[[データ収集・格納系>https://dotnetdevelopmentinfrastruc...
***プロダクト [#n8d2d22f]
-[[Hadoop>https://dotnetdevelopmentinfrastructure.osscons...
-[[Apache Spark>https://dotnetdevelopmentinfrastructure.o...
-[[Apache Kafka>https://dotnetdevelopmentinfrastructure.o...
***Blog [#ef79347f]
-.NET for Apache Sparkで見えた、配管工おじさん入門への道~
https://www.osscons.jp/joj7rztvv-537/
----
Tags: [[:クラウド]], [[:Azure]], [[:.NET開発]], [[:.NET C...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
