.NET for Apache Spark のバックアップ(No.4) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- Azure HDInsight
- Azure Databricks

目次 †

目次
概要
詳細
- 機能
参考

概要 †

.NET の経験あるいはコードベースを持つ開発者が、
ビッグデータ分析の世界へ参入できるように支援する。
- C# や F# のような使い慣れた言語を使いたい
- 言語統合クエリ（LINQ）のような機能のサポート
- リモートSparkクラスタへのアプリの送信や.NETアプリのデバッグ

Microsoftと.NET Foundationが開発
- 2019/4に最初のバージョンが公開
- 2020/10/27に1.0がリリース
  - .NET Standard 2.0以降をターゲット
    （.NET Core 3.1以降を推奨）
  - GitHub ページや NuGet から入手可能
  - 以下の機能をサポートしている。

Apache Sparkクラウドサービス等で利用可能

今後の見通し
- 前提条件や依存関係の設定
- 質の高いドキュメント

コミュニティが提供する
- すぐに実行できる Dockerイメージ
- .NET for Apache Sparkのドキュメントの更新

デプロイメントオプション
- CI/CD デップスパイプラインとの統合
- Visual Studioから直接ジョブを発行

詳細 †

機能 †

Spark DataFrame? APIへのアクセス
Spark SQLの記述
ユーザー定義関数（UDF）作成
API拡張フレームワーク
- Linux Foundation Delta Lake
- Microsoft OSS Hyperspace
- MLlib、ML.NET

参考 †

NuGet Gallery | Microsoft.Spark
https://www.nuget.org/packages/Microsoft.Spark/

.NET for Apache Spark
https://dotnetfoundation.org/projects/dotnet-spark

MicrosoftがApache Spark向けの高性能C#およびF#サポートをリリース
https://www.infoq.com/jp/news/2019/06/microsoft-net-apache-spark/

データ解析フレームワーク.NET for Apache Spark 1.0リリース - Microsoft | マイナビニュース
https://news.mynavi.jp/article/20201027-1439818/

.NET for Apache Spark - Databricks
https://databricks.com/jp/session_eu19/net-for-apache-spark

github.com †

dotnet/spark:
.NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.
https://github.com/dotnet/spark

README
https://github.com/dotnet/spark/blob/master/README.md

Get Started
https://github.com/dotnet/spark/blob/master/README.md#get-started

Samples
https://github.com/dotnet/spark/blob/master/README.md#samples

Inspiration and Special Thanks
https://github.com/dotnet/spark/blob/master/README.md#inspiration-and-special-thanks

ROADMAP
https://github.com/dotnet/spark/blob/master/ROADMAP.md

microsoft.com †

.NET for Apache Spark™ | Big data analytics
https://dotnet.microsoft.com/apps/data/spark

Microsoft Docs > .NET for Apache Spark ガイド †

.NET for Apache Spark のドキュメント
https://docs.microsoft.com/ja-jp/dotnet/spark/

概要
- Apache Spark とは
  https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-spark
- .NET for Apache Spark とは
  https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-apache-spark-dotnet

チュートリアル
- .NET for Apache Spark の概要（作業開始）
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/get-started

.NET for Apache Spark アプリケーションをデプロイする
- Azure HDInsight
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/hdinsight-deployment
- Azure Databricks
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/databricks-deployment

その他のチュートリアル
- .NET for Apache Spark を使用したバッチ処理のチュートリアル
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/batch-processing
- .NET for Apache Spark を使用した構造化ストリーミングのチュートリアル
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/streaming
- .NET for Apache Spark と ML.NET での感情分析のチュートリアル
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/ml-sentiment-analysis

使い方ガイド

データへの接続
- Azure Storage
- Event Hubs
- Mongo DB
- SQL Server

アプリケーションをビルドする
- Ubuntu
- Windows

リモートジョブを送信する
- Azure Synapse Analytics にジョブを送信する
- Databricks にジョブを送信する
- HDInsight にジョブを送信する

ユーザー定義関数 (UDF)
- UDF ガイド
- .NET での Java UDF
- .NET Interactive での UDF
- ワーカーおよび UDF のバイナリを展開する

Jupyter Notebook の使用
配信ガイド
アプリケーションをデバッグする
Azure HDInsight に対話型ノートブックをインストールする

開発基盤部会 Wiki †

Tags: :クラウド, :Azure