.NET for Apache Spark のバックアップの現在との差分(No.13)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• ソース を表示
• バックアップ を表示
• .NET for Apache Spark へ行く。
  • 1 (2020-11-16 (月) 11:09:24)
  • 2 (2020-11-16 (月) 13:48:44)
  • 3 (2020-11-16 (月) 14:16:26)
  • 4 (2020-11-16 (月) 20:46:19)
  • 5 (2020-11-16 (月) 23:54:32)
  • 6 (2020-11-17 (火) 01:22:52)
  • 7 (2020-11-17 (火) 10:22:49)
  • 8 (2020-11-17 (火) 15:05:03)
  • 9 (2020-11-17 (火) 22:29:01)
  • 10 (2020-11-18 (水) 14:42:30)
  • 11 (2020-11-19 (木) 15:12:31)
  • 12 (2020-11-19 (木) 21:57:35)
  • 13 (2020-11-20 (金) 15:37:23)
  • 14 (2020-11-27 (金) 14:05:54)
  • 15 (2020-11-30 (月) 13:31:38)
  • 16 (2020-12-14 (月) 15:35:19)
  • 17 (2021-06-22 (火) 11:21:23)
  • 18 (2021-07-26 (月) 11:55:46)
  • 19 (2021-08-23 (月) 10:57:09)
  • 20 (2021-08-23 (月) 17:31:39)
  • 21 (2021-12-16 (木) 11:36:58)

---

• 追加された行はこの色です。
• 削除された行はこの色です。

「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。

-戻る
--[[.NET開発]]
--[[Azure]]
---[[Azure HDInsight]]
---[[Azure Databricks]]

* 目次 [#i012a1b3]
#contents

*概要 [#bdf7f5bc]
-.NET の経験あるいはコード ベースを持つ開発者が、~
ビッグ データ分析の世界へ参入できるように支援する。
--C# や F# のような使い慣れた言語を使いたい
--言語統合クエリ（LINQ）のような機能のサポート
--リモートSparkクラスタへのアプリの送信や.NETアプリのデバッグ

-Microsoftと.NET Foundationが開発
--2019/4に最初のバージョンが公開
--2020/10/27に1.0がリリース~
---.NET Standard 2.0以降をターゲット~
（.NET Core 3.1以降を推奨）
---GitHub ページや NuGet から入手可能
---[[以下の機能>#b15c164e]]をサポートしている。

-Apache Sparkクラウドサービス等で利用可能
--[[Azure Synapse]]
--[[Azure HDInsight]]
--[[Azure Databricks]]

-今後の見通し
--前提条件や依存関係の設定
--質の高いドキュメント

--コミュニティが提供する
---すぐに実行できる Dockerイメージ
---.NET for Apache Sparkのドキュメントの更新

--デプロイメントオプション
---CI/CD デップスパイプラインとの統合
---Visual Studioから直接ジョブを発行

*詳細 [#i027473b]

**経緯 [#hbb0cadb]
-Apache Spark用のバインディングであるPySpark（Python）やSparkR（R）と、~
-Apache Spark用のバインディングである[[PySpark（Python）>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?cmd=read&page=PySpark&word=PySpark]]やSparkR（R）と、~
同じ方式で実装された、Mobiusと言うC# と F# の言語バインディングを起点に開発された。

-Apache Arrow や Pyrolite によってJVMと.NET CLRの間の相互運用性を高めている。
--Apache Arrowは、言語に依存しないカラム状のメモリフォーマットを定義 
--Pyroliteは、Javaや.NETとPythonを接続するのに良い選択
--Pyroliteは、Javaや.NETと[[Python>Visual Studio Code#red23b04]]を接続するのに良い選択

**機能 [#b15c164e]

***Spark DataFrame APIへのアクセス [#de5a4df9]
***[[Spark DataFrameとSpark SQL>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Apache%20Spark#meeb789d]]のサポート [#x77ba954]

***[[Spark SQL>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Apache%20Spark#meeb789d]]の記述 [#x77ba954]

***ユーザー定義関数（UDF）作成 [#w1fa929a]
-[[Spark SQLやDataFrame API>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20SQL]]を使用した、~
分散データ操作に、ユーザが定義した関数を使用できる。

-参考
--[[.NET for Apache Spark ガイド>#w086a731]]
--[[.NET for Apache Sparkチュートリアル]]

***API拡張フレームワーク [#q2a3f17e]
-Linux Foundation Delta Lake
-Microsoft OSS Hyperspace
-MLlib、[[ML.NET]]
-[[MLlib>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20MLlib]]、[[ML.NET]]

**[[チュートリアル>.NET for Apache Sparkチュートリアル]] [#t3e0dbcd]
**使用方法 [#r680037c]
***[[チュートリアル>.NET for Apache Sparkチュートリアル]] [#t3e0dbcd]
***[[データへの接続>.NET for Apache Sparkのデータ接続]] [#j30cc805]

*参考 [#t879798a]

-NuGet Gallery | Microsoft.Spark~
https://www.nuget.org/packages/Microsoft.Spark/

-.NET for Apache Spark~
https://dotnetfoundation.org/projects/dotnet-spark

-.NET for Apache Spark - Databricks~
https://databricks.com/jp/session_eu19/net-for-apache-spark

-MicrosoftがApache Spark向けの高性能C#およびF#サポートをリリース~
https://www.infoq.com/jp/news/2019/06/microsoft-net-apache-spark/

-データ解析フレームワーク.NET for Apache Spark 1.0リリース - Microsoft | マイナビニュース~
https://news.mynavi.jp/article/20201027-1439818/

-.NET for Apache Spark - Databricks~
https://databricks.com/jp/session_eu19/net-for-apache-spark

**github.com [#s589254d]
-dotnet/spark:~
.NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.~
https://github.com/dotnet/spark

--README~
https://github.com/dotnet/spark/blob/master/README.md

---Get Started~
https://github.com/dotnet/spark/blob/master/README.md#get-started

---Samples~
https://github.com/dotnet/spark/blob/master/README.md#samples

---Inspiration and Special Thanks~
https://github.com/dotnet/spark/blob/master/README.md#inspiration-and-special-thanks

--ROADMAP~
https://github.com/dotnet/spark/blob/master/ROADMAP.md

**microsoft.com [#b6f77122]

***.NET Blog [#m5822c13]
-Spark Archives~
https://devblogs.microsoft.com/dotnet/tag/spark/

--Introducing .NET for Apache® Spark™ Preview~
https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/
--Big Plans for Big Data and .NET for Spark~
https://devblogs.microsoft.com/dotnet/big-plans-for-big-data-and-net-for-spark/

***.NET > .NET for Apache Spark [#t716f795]
-.NET for Apache Spark™ | Big data analytics~
https://dotnet.microsoft.com/apps/data/spark

--[[Get started in 10 minutes > .NET for Apache Spark Tutorial>.NET for Apache Sparkチュートリアル#g7fce881]]
--[[Channel 9 > .NET for Apache Spark 101>.NET for Apache Sparkチュートリアル#vf8b2398]]
--[[Apache Spark with C# or F#>#w086a731]]
--[[.NET for Apache Spark performance>https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/#performance]]
--[[ML.NET | Machine Learning made for .NET>https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet]]
--[[Visit .NET for Apache Spark on GitHub>#s589254d]]

***Microsoft Docs > .NET for Apache Spark ガイド [#w086a731]

-.NET for Apache Spark のドキュメント~
https://docs.microsoft.com/ja-jp/dotnet/spark/

-概要
--Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-spark
--.NET for Apache Spark とは~
https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-apache-spark-dotnet

-使い方ガイド

--[[データへの接続>.NET for Apache Sparkのデータ接続#i96a74c2]]

--アプリケーションをビルドする
---Ubuntu
---Windows

--リモート ジョブを送信する
---Azure Synapse Analytics にジョブを送信する
---[[HDInsight にジョブを送信する>Azure HDInsight#w086a731]]
---[[Databricks にジョブを送信する>Azure Databricks#qb9ddd3a]]

--ユーザー定義関数 (UDF)
---UDF ガイド
---.NET での Java UDF
---.NET Interactive での UDF
---ワーカーおよび UDF のバイナリを展開する

--Jupyter Notebook の使用
--配信ガイド
--アプリケーションをデバッグする
--Azure HDInsight に対話型ノートブックをインストールする

-[[チュートリアル>.NET for Apache Sparkチュートリアル#zd2d65ee]]

**[[開発基盤部会 Wiki>Azure HDInsight#v38c7e35]] [#zf579f45]
**開発基盤部会 Wiki & Blog [#zf579f45]

***[[ビッグデータ>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF]] [#eca24f2c]

***[[分散処理>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86]] [#g3945546]
-[[分散（バッチ）系>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86%EF%BC%9A%E5%88%86%E6%95%A3%EF%BC%88%E3%83%90%E3%83%83%E3%83%81%EF%BC%89%E7%B3%BB]]
-[[ストリーム系>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86%EF%BC%9A%E3%82%B9%E3%83%88%E3%83%AA%E3%83%BC%E3%83%A0%E7%B3%BB]]
-[[データ収集・格納系>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86%EF%BC%9A%E3%83%87%E3%83%BC%E3%82%BF%E5%8F%8E%E9%9B%86%E3%83%BB%E6%A0%BC%E7%B4%8D%E7%B3%BB]]

***プロダクト [#n8d2d22f]
-[[Hadoop>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Hadoop]]
-[[Apache Spark>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Apache%20Spark]]
-[[Apache Kafka>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Apache%20Kafka]]

***Blog [#ef79347f]
-.NET for Apache Sparkで見えた、配管工おじさん入門への道~
https://www.osscons.jp/joj7rztvv-537/

----
Tags: [[:クラウド]], [[:Azure]], [[:.NET開発]], [[:.NET Core]], [[:.NET Standard]]

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.009 sec.