.NET for Apache Sparkチュートリアル のバックアップ(No.14)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• .NET for Apache Sparkチュートリアル へ行く。
  • 1 (2020-11-16 (月) 21:36:52)
  • 2 (2020-11-16 (月) 23:58:51)
  • 3 (2020-11-17 (火) 09:07:32)
  • 4 (2020-11-17 (火) 15:11:12)
  • 5 (2020-11-18 (水) 00:51:12)
  • 6 (2020-11-18 (水) 11:56:44)
  • 7 (2020-11-18 (水) 16:32:09)
  • 8 (2020-11-19 (木) 14:19:33)
  • 9 (2020-11-19 (木) 16:44:56)
  • 10 (2020-11-19 (木) 19:07:58)
  • 11 (2020-11-20 (金) 15:42:15)
  • 12 (2020-11-20 (金) 23:31:48)
  • 13 (2020-11-22 (日) 01:36:43)
  • 14 (2020-11-24 (火) 15:54:23)
  • 15 (2020-12-11 (金) 16:32:02)
  • 16 (2020-12-14 (月) 14:28:01)
  • 17 (2021-06-22 (火) 13:49:40)
  • 18 (2021-06-25 (金) 14:45:06)
  • 19 (2021-06-25 (金) 17:35:51)
  • 20 (2021-06-25 (金) 22:06:53)
  • 21 (2021-06-25 (金) 22:22:14)
  • 22 (2021-07-26 (月) 11:45:12)
  • 23 (2021-07-26 (月) 18:09:39)
  • 24 (2021-07-26 (月) 21:51:28)
  • 25 (2021-07-27 (火) 09:26:03)
  • 26 (2021-07-29 (木) 09:49:11)
  • 27 (2021-07-30 (金) 11:20:01)
  • 28 (2021-07-30 (金) 14:19:35)
  • 29 (2021-08-03 (火) 15:22:12)
  • 30 (2021-09-28 (火) 13:40:42)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

チュートリアル †

以下のチュートリアルを実施してみた。

Get started in 10 minutes
≒ .NET for Apache Spark 101－α
≒ .NET for Apache Spark ガイド－α
≠ github.com...README.md#get-started

前提 †

• 情報源
  • 2020/11の情報
  • Microsoft Docsベース

• ローカルはWindows
  • .NET：netcoreapp3.1
  • Java：jdk-8u201-windows-x64.exe

• Apache Spark
  • ver：2.4.1
  • パス：

    C:\prog\spark\spark-2.4.1-bin-hadoop2.7

• .NET for Apache Spark
  • ver：1.0.0
  • パス：

    C:\prog\spark\Microsoft.Spark.Worker-1.0.0

• winutils.exe
  • ver：.../hadoop-2.7.1/bin/winutils.exe
  • パス：

    C:\prog\spark\spark-2.4.1-bin-hadoop2.7\bin

• その他

• 7-Zip（インストール済み）

詳細 †

開発 †

Get started in 10 minutes †

• デモを見た限り、入力はTXTファイルで単語を数える。
• メソッド構文のSpark SQLで単語を数える（いきなりハードル高い）。

• コピペ用CMD
  • Apache Spark
    • HOMEの指定

      setx /M HADOOP_HOME C:\prog\spark\spark-2.4.1-bin-hadoop2.7\
      setx /M SPARK_HOME C:\prog\spark\spark-2.4.1-bin-hadoop2.7\
      setx /M PATH "%PATH%;%HADOOP_HOME%;%SPARK_HOME%\bin"

    • 動作確認

      >spark-submit --version
      Welcome to
      
           / __/__  ___ _____/ /__
          _\ \/ _ \/ _ `/ __/  '_/
         /___/ .__/\_,_/_/ /_/\_\   version 2.4.1
            /_/
      
      Using Scala version 2.11.12, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_201
      Branch
      Compiled by user  on 2019-03-26T22:44:44Z
      Revision
      Url
      Type --help for more information.

• .NET for Apache Spark
  • パス設定

    setx /M DOTNET_WORKER_DIR C:\prog\spark\Microsoft.Spark.Worker-1.0.0

  • 動作確認
    以下のアプリをビルドして動作させる。

• アプリ
  • 物体
    https://github.com/OpenTouryoProject/SampleProgram/tree/master/Azure/DotNet4ApacheSpark/MySparkApp

• 実行

  \MySparkApp\bin\Debug\netcoreapp3.1>spark-submit ^
  --class org.apache.spark.deploy.dotnet.DotnetRunner ^
  --master local ^
  microsoft-spark-2-4_2.11-1.0.0.jar ^
  dotnet MySparkApp.dll input.txt
  ...
  20/11/19 12:39:29 INFO CodeGenerator: Code generated in 10.4659 ms
  +------+-----+
  |  word|count|
  +------+-----+
  |  .NET|    3|
  |Apache|    2|
  |   app|    2|
  |  This|    2|
  | Spark|    2|
  | World|    1|
  |counts|    1|
  |   for|    1|
  | words|    1|
  |  with|    1|
  | Hello|    1|
  |  uses|    1|
  +------+-----+
  
  20/11/19 12:39:29 INFO SparkUI: Stopped Spark web UI at http://nishi.mshome.net:4040
  ...

バッチ処理 †

• デモを見た限り、入力はCSVファイルで集計処理を行う。

• 集計処理は以下の２つ
  • メソッド構文のSpark SQLで言語毎のフォークの平均回数を降順に並べる。
  • UDFをメソッド構文のSpark SQLから利用し、指定の日付以降の更新日付を示す。

構造化ストリーミング †

（別名、マイクロ・バッチ）

• デモを見た限り、入力はNetcatからのテキスト行で、変換処理を行う。

• UDFをメソッド構文のSpark SQLから利用し、エンリッチメントする。

• なお、ストリーミング処理では、ループを書くのではなく、StreamingQuery?を使用する模様。
  • StreamingQuery?のStartでアプリケーションが開始する。
  • StreamingQuery?のAwaitTermination?でアプリケーションが外部から停止されるまで実行。

• 参考
  • Spark Structured Streaming with Kafka
    https://www.slideshare.net/SotaroKimura/spark-structured-streaming-with-kafka

ML.NET での感情分析 †

• デモを見た限り、入力はyelptest.csvで、感情分析を行う。
• なお、学習は、yelptrain.csvを使用して行う。
• 学習の結果、XXXXML.Modelプロジェクトが生成されるので、参照を追加する。
• ML処理を呼出すUDFをクエリ構文のSpark SQLから利用する。

デプロイ †

リンク先を読むと解るが差は僅か。

Azure HDInsight †

Azure Databricks †

分散環境での入出力 †

分散環境 †

• 基本的には、マネージド・サービスのクラスタを利用する。
• 遅延評価により自動的にクラスタ内のワーカー・ノードに分散される模様。
  • RDDや変数を共有する範囲のタスクが１つのワーカー・ノードに割り当てられる。
  • 上記以外のタスクはその他のワーカー・ノードに割り当てられる可能性がある。

入出力 †

• .NET for Apache Sparkのデータ接続

遅延評価 †

遅延評価の方式 †

DAGを用いた遅延評価で、一回、処理が解析される。

• エグゼキュータでDAGが生成され、
• RDDを消費するAPIが呼ばれるとジョブが作られる。
• ドライバはエグゼキュータにジョブを転送する。

実現されること。 †

これにより、以下が実現される。

• 自動的な分散。
• ループで書かないストリーミング。

参考 †

msdn.com †

Channel 9 > .NET for Apache Spark 101 †

「.NET for Apache Spark ガイドのチュートリアル部」を動画化してある。

• https://channel9.msdn.com/Series/NET-for-Apache-Spark-101

• What is .NET for Apache Spark? [1 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/What-is-NET-for-Apache-Spark

• Run Your First .NET for Apache Spark App [2 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Run-Your-First-NET-for-Apache-Spark-App

• Batch Processing with .NET for Apache Spark [3 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Batch-Processing-with-NET-for-Apache-Spark

• Structured Streaming with .NET for Apache Spark [4 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Structured-Streaming-with-NET-for-Apache-Spark

• Sentiment Analysis with .NET for Apache Spark and ML.NET
  • Part 1 [5 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-1
  • Part 2 [6 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Sentiment-Analysis-with-NET-for-Apache-Spark-and-MLNET-Part-2

• Deploy .NET for Apache Spark App to
  • Azure HDInsight
  • Azure Databricks

• YouTube?
  https://www.youtube.com/playlist?list=PLdo4fOcmZ0oXklB5hhg1G1ZwOJTEjcQ5z

microsoft.com †

Get started in 10 minutes †

https://dotnet.microsoft.com/learn/data/spark-tutorial/intro

• Install .NET
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-dotnet
• Install Prerequisites
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-pre-reqs
• Install Apache Spark
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-spark
• Install .NET for Apache Spark
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-worker
• Create your app
  https://dotnet.microsoft.com/learn/data/spark-tutorial/create
• Install NuGet package
  https://dotnet.microsoft.com/learn/data/spark-tutorial/install-package
• Add data file
  https://dotnet.microsoft.com/learn/data/spark-tutorial/data
• Code your app
  https://dotnet.microsoft.com/learn/data/spark-tutorial/code
• Run your app
  https://dotnet.microsoft.com/learn/data/spark-tutorial/run

Microsoft Docs > .NET for Apache Spark ガイド †

• チュートリアル

• .NET for Apache Spark の概要（作業開始）
  （≒ Get started in 10 minutes）
  https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/get-started

• その他のチュートリアル .NET for Apache Spark
  
  • ...を使用したバッチ処理のチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/batch-processing
  • ...を使用した構造化ストリーミングのチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/streaming
  • ...と ML.NET での感情分析のチュートリアル
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/ml-sentiment-analysis

• .NET for Apache Spark アプリケーションをデプロイする
  
  • Azure HDInsight
  • Azure Databricks

• 使い方ガイド
  • データーへの接続

---

Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.042 sec.