.NET for Apache Spark のバックアップ(No.5)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• .NET for Apache Spark へ行く。
  • 1 (2020-11-16 (月) 11:09:24)
  • 2 (2020-11-16 (月) 13:48:44)
  • 3 (2020-11-16 (月) 14:16:26)
  • 4 (2020-11-16 (月) 20:46:19)
  • 5 (2020-11-16 (月) 23:54:32)
  • 6 (2020-11-17 (火) 01:22:52)
  • 7 (2020-11-17 (火) 10:22:49)
  • 8 (2020-11-17 (火) 15:05:03)
  • 9 (2020-11-17 (火) 22:29:01)
  • 10 (2020-11-18 (水) 14:42:30)
  • 11 (2020-11-19 (木) 15:12:31)
  • 12 (2020-11-19 (木) 21:57:35)
  • 13 (2020-11-20 (金) 15:37:23)
  • 14 (2020-11-27 (金) 14:05:54)
  • 15 (2020-11-30 (月) 13:31:38)
  • 16 (2020-12-14 (月) 15:35:19)
  • 17 (2021-06-22 (火) 11:21:23)
  • 18 (2021-07-26 (月) 11:55:46)
  • 19 (2021-08-23 (月) 10:57:09)
  • 20 (2021-08-23 (月) 17:31:39)
  • 21 (2021-12-16 (木) 11:36:58)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Azure HDInsight
  • Azure Databricks

目次 †

概要 †

• .NET の経験あるいはコード ベースを持つ開発者が、
  ビッグ データ分析の世界へ参入できるように支援する。
  • C# や F# のような使い慣れた言語を使いたい
  • 言語統合クエリ（LINQ）のような機能のサポート
  • リモートSparkクラスタへのアプリの送信や.NETアプリのデバッグ

• Microsoftと.NET Foundationが開発
  • 2019/4に最初のバージョンが公開
  • 2020/10/27に1.0がリリース
    
    • .NET Standard 2.0以降をターゲット
      （.NET Core 3.1以降を推奨）
    • GitHub ページや NuGet から入手可能
    • 以下の機能をサポートしている。

• Apache Sparkクラウドサービス等で利用可能
  • Azure Synapse
  • Azure HDInsight
  • Azure Databricks

• 今後の見通し
  • 前提条件や依存関係の設定
  • 質の高いドキュメント

• コミュニティが提供する
  • すぐに実行できる Dockerイメージ
  • .NET for Apache Sparkのドキュメントの更新

• デプロイメントオプション
  • CI/CD デップスパイプラインとの統合
  • Visual Studioから直接ジョブを発行

詳細 †

機能 †

• Spark DataFrame? APIへのアクセス
• Spark SQLの記述
• ユーザー定義関数（UDF）作成
• API拡張フレームワーク
  • Linux Foundation Delta Lake
  • Microsoft OSS Hyperspace
  • MLlib、ML.NET

チュートリアル †

参考 †

• NuGet Gallery | Microsoft.Spark
  https://www.nuget.org/packages/Microsoft.Spark/

• .NET for Apache Spark
  https://dotnetfoundation.org/projects/dotnet-spark

• MicrosoftがApache Spark向けの高性能C#およびF#サポートをリリース
  https://www.infoq.com/jp/news/2019/06/microsoft-net-apache-spark/

• データ解析フレームワーク.NET for Apache Spark 1.0リリース - Microsoft | マイナビニュース
  https://news.mynavi.jp/article/20201027-1439818/

• .NET for Apache Spark - Databricks
  https://databricks.com/jp/session_eu19/net-for-apache-spark

github.com †

• dotnet/spark:
  .NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.
  https://github.com/dotnet/spark

• README
  https://github.com/dotnet/spark/blob/master/README.md

• Get Started
  https://github.com/dotnet/spark/blob/master/README.md#get-started

• Samples
  https://github.com/dotnet/spark/blob/master/README.md#samples

• Inspiration and Special Thanks
  https://github.com/dotnet/spark/blob/master/README.md#inspiration-and-special-thanks

• ROADMAP
  https://github.com/dotnet/spark/blob/master/ROADMAP.md

msdn.com †

Channel 9 > .NET for Apache Spark 101 †

https://channel9.msdn.com/Series/NET-for-Apache-Spark-101

• What is .NET for Apache Spark? [1 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/What-is-NET-for-Apache-Spark

• Run Your First .NET for Apache Spark App [2 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Run-Your-First-NET-for-Apache-Spark-App

• Batch Processing with .NET for Apache Spark [3 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Batch-Processing-with-NET-for-Apache-Spark

• Structured Streaming with .NET for Apache Spark [4 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Structured-Streaming-with-NET-for-Apache-Spark

• Sentiment Analysis with .NET for Apache Spark and ML.NET
  • Part 1 [5 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-1
  • Part 2 [6 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-2

• Deploy .NET for Apache Spark App to
  • Azure Databricks [7 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-Databricks
  • Azure HDInsight [8 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-HDInsight

microsoft.com †

.NET Blog †

• Spark Archives
  https://devblogs.microsoft.com/dotnet/tag/spark/

• Introducing .NET for Apache® Spark™ Preview
  https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/
• Big Plans for Big Data and .NET for Spark
  https://devblogs.microsoft.com/dotnet/big-plans-for-big-data-and-net-for-spark/

.NET for Apache Spark †

• .NET for Apache Spark™ | Big data analytics
  https://dotnet.microsoft.com/apps/data/spark

• Channel 9 > .NET for Apache Spark 101
• Apache Spark with C# or F#
• .NET for Apache Spark performance
• ML.NET | Machine Learning made for .NET
• Visit .NET for Apache Spark on GitHub

• .NET for Apache Spark Tutorial | Get started in 10 minutes
  https://dotnet.microsoft.com/learn/data/spark-tutorial/intro
  • Install .NET
    https://dotnet.microsoft.com/learn/data/spark-tutorial/install-dotnet
  • Install Prerequisites
    https://dotnet.microsoft.com/learn/data/spark-tutorial/install-pre-reqs
  • Install Apache Spark
    https://dotnet.microsoft.com/learn/data/spark-tutorial/install-spark
  • Install .NET for Apache Spark
    https://dotnet.microsoft.com/learn/data/spark-tutorial/install-worker
  • Create your app
    https://dotnet.microsoft.com/learn/data/spark-tutorial/create
  • Install NuGet package
    https://dotnet.microsoft.com/learn/data/spark-tutorial/install-package
  • Add data file
    https://dotnet.microsoft.com/learn/data/spark-tutorial/data
  • Code your app
    https://dotnet.microsoft.com/learn/data/spark-tutorial/code
  • Run your app
    https://dotnet.microsoft.com/learn/data/spark-tutorial/run

Microsoft Docs > .NET for Apache Spark ガイド †

• .NET for Apache Spark のドキュメント
  https://docs.microsoft.com/ja-jp/dotnet/spark/

• 概要
  • Apache Spark とは
    https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-spark
  • .NET for Apache Spark とは
    https://docs.microsoft.com/ja-jp/dotnet/spark/what-is-apache-spark-dotnet

• チュートリアル
  • .NET for Apache Spark の概要（作業開始）
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/get-started

• その他のチュートリアル
  • .NET for Apache Spark を使用したバッチ処理のチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/batch-processing
  • .NET for Apache Spark を使用した構造化ストリーミングのチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/streaming
  • .NET for Apache Spark と ML.NET での感情分析のチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/ml-sentiment-analysis

• .NET for Apache Spark アプリケーションをデプロイする
  
  • Azure HDInsight
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/hdinsight-deployment
  • Azure Databricks
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/databricks-deployment

• 使い方ガイド

• データへの接続
  • Azure Storage
  • Event Hubs
  • Mongo DB
  • SQL Server

• アプリケーションをビルドする
  • Ubuntu
  • Windows

• リモート ジョブを送信する
  • Azure Synapse Analytics にジョブを送信する
  • Databricks にジョブを送信する
  • HDInsight にジョブを送信する

• ユーザー定義関数 (UDF)
  • UDF ガイド
  • .NET での Java UDF
  • .NET Interactive での UDF
  • ワーカーおよび UDF のバイナリを展開する

• Jupyter Notebook の使用
• 配信ガイド
• アプリケーションをデバッグする
• Azure HDInsight に対話型ノートブックをインストールする

開発基盤部会 Wiki †

---

Tags: :クラウド, :Azure

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.034 sec.