.NET for Apache Sparkチュートリアル のバックアップ(No.5)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• .NET for Apache Sparkチュートリアル へ行く。
  • 1 (2020-11-16 (月) 21:36:52)
  • 2 (2020-11-16 (月) 23:58:51)
  • 3 (2020-11-17 (火) 09:07:32)
  • 4 (2020-11-17 (火) 15:11:12)
  • 5 (2020-11-18 (水) 00:51:12)
  • 6 (2020-11-18 (水) 11:56:44)
  • 7 (2020-11-18 (水) 16:32:09)
  • 8 (2020-11-19 (木) 14:19:33)
  • 9 (2020-11-19 (木) 16:44:56)
  • 10 (2020-11-19 (木) 19:07:58)
  • 11 (2020-11-20 (金) 15:42:15)
  • 12 (2020-11-20 (金) 23:31:48)
  • 13 (2020-11-22 (日) 01:36:43)
  • 14 (2020-11-24 (火) 15:54:23)
  • 15 (2020-12-11 (金) 16:32:02)
  • 16 (2020-12-14 (月) 14:28:01)
  • 17 (2021-06-22 (火) 13:49:40)
  • 18 (2021-06-25 (金) 14:45:06)
  • 19 (2021-06-25 (金) 17:35:51)
  • 20 (2021-06-25 (金) 22:06:53)
  • 21 (2021-06-25 (金) 22:22:14)
  • 22 (2021-07-26 (月) 11:45:12)
  • 23 (2021-07-26 (月) 18:09:39)
  • 24 (2021-07-26 (月) 21:51:28)
  • 25 (2021-07-27 (火) 09:26:03)
  • 26 (2021-07-29 (木) 09:49:11)
  • 27 (2021-07-30 (金) 11:20:01)
  • 28 (2021-07-30 (金) 14:19:35)
  • 29 (2021-08-03 (火) 15:22:12)
  • 30 (2021-09-28 (火) 13:40:42)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

チュートリアルを実施してみた。

Get started in 10 minutes
≒ .NET for Apache Spark 101＋α
≒ .NET for Apache Spark ガイド＋α
≠ github.com...README.md#get-started

詳細 †

開発 †

Get started †

• デモを見た限り、入力はTXTファイルで単語を数える。
• メソッド構文のSpark SQLで単語を数える（いきなりハードル高い）。
• 分散環境では、どのように入力を取得するのか？

バッチ処理 †

• デモを見た限り、入力はCSVファイルで集計処理を行う。

• 集計処理は以下の２つ
  • メソッド構文のSpark SQLで言語毎のフォークの平均回数を降順に並べる。
  • UDFをメソッド構文のSpark SQLから利用し、指定の日付以降の更新日付を示す。

• 同様に、分散環境では、どのように入力を取得するのか？

構造化ストリーミング †

（別名、マイクロ・バッチ）

• デモを見た限り、入力はNetcatからのテキスト行で、変換処理を行う。
• UDFをメソッド構文のSpark SQLから利用し、エンリッチメントする。
• 同様に、分散環境では、どのように入力を取得するのか？

ML.NET での感情分析 †

• デモを見た限り、入力はyelptest.csvで、感情分析を行う。
• なお、学習は、yelptrain.csvを使用して行う。
• 学習の結果、XXXXML.Modelプロジェクトが生成されるので、参照を追加する。
• ML処理を呼出すUDFをクエリ構文のSpark SQLから利用する。
• 同様に、分散環境では、どのように入力を取得するのか？

デプロイ †

Azure HDInsight †

Azure Databricks †

参考 †

msdn.com †

Channel 9 > .NET for Apache Spark 101 †

https://channel9.msdn.com/Series/NET-for-Apache-Spark-101

• What is .NET for Apache Spark? [1 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/What-is-NET-for-Apache-Spark

• Run Your First .NET for Apache Spark App [2 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Run-Your-First-NET-for-Apache-Spark-App

• Batch Processing with .NET for Apache Spark [3 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Batch-Processing-with-NET-for-Apache-Spark

• Structured Streaming with .NET for Apache Spark [4 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Structured-Streaming-with-NET-for-Apache-Spark

• Sentiment Analysis with .NET for Apache Spark and ML.NET
  • Part 1 [5 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-1
  • Part 2 [6 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-2

• Deploy .NET for Apache Spark App to
  • Azure Databricks [7 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-Databricks
  • Azure HDInsight [8 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-HDInsight

microsoft.com †

Get started in 10 minutes †

https://dotnet.microsoft.com/learn/data/spark-tutorial/intro

• Install .NET
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-dotnet
• Install Prerequisites
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-pre-reqs
• Install Apache Spark
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-spark
• Install .NET for Apache Spark
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-worker
• Create your app
  https://dotnet.microsoft.com/learn/data/spark-tutorial/create
• Install NuGet package
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-package
• Add data file
  https://dotnet.microsoft.com/learn/data/spark-tutorial/data
• Code your app
  https://dotnet.microsoft.com/learn/data/spark-tutorial/code
• Run your app
  https://dotnet.microsoft.com/learn/data/spark-tutorial/run

.NET for Apache Spark ガイド †

• .NET for Apache Spark の概要（作業開始）
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/get-started

• その他のチュートリアル .NET for Apache Spark
  
  • ...を使用したバッチ処理のチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/batch-processing
  • ...を使用した構造化ストリーミングのチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/streaming
  • ...と ML.NET での感情分析のチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/ml-sentiment-analysis

• .NET for Apache Spark アプリケーションをデプロイする
  
  • Azure HDInsight
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/hdinsight-deployment
  • Azure Databricks
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/databricks-deployment

---

Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.037 sec.