「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
以下のチュートリアルを実施してみた。
Get started in 10 minutes
≒ .NET for Apache Spark 101-α
≒ .NET for Apache Spark ガイド-α
≠ github.com...README.md#get-started
C:\prog\spark\spark-2.4.1-bin-hadoop2.7
C:\prog\spark\Microsoft.Spark.Worker-1.0.0
C:\prog\spark\spark-2.4.1-bin-hadoop2.7\bin
setx /M HADOOP_HOME C:\prog\spark\spark-2.4.1-bin-hadoop2.7\ setx /M SPARK_HOME C:\prog\spark\spark-2.4.1-bin-hadoop2.7\ setx /M PATH "%PATH%;%HADOOP_HOME%;%SPARK_HOME%\bin"
>spark-submit --version Welcome to / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.1 /_/ Using Scala version 2.11.12, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_201 Branch Compiled by user on 2019-03-26T22:44:44Z Revision Url Type --help for more information.
setx /M DOTNET_WORKER_DIR C:\prog\spark\Microsoft.Spark.Worker-1.0.0
\MySparkApp\bin\Debug\netcoreapp3.1>spark-submit ^ --class org.apache.spark.deploy.dotnet.DotnetRunner ^ --master local ^ microsoft-spark-2-4_2.11-1.0.0.jar ^ dotnet MySparkApp.dll input.txt ... 20/11/19 12:39:29 INFO CodeGenerator: Code generated in 10.4659 ms +------+-----+ | word|count| +------+-----+ | .NET| 3| |Apache| 2| | app| 2| | This| 2| | Spark| 2| | World| 1| |counts| 1| | for| 1| | words| 1| | with| 1| | Hello| 1| | uses| 1| +------+-----+ 20/11/19 12:39:29 INFO SparkUI: Stopped Spark web UI at http://nishi.mshome.net:4040 ...
(別名、マイクロ・バッチ)
リンク先を読むと解るが差は僅か。
デプロイを見ると、クラスタ上で、複数のジョブを起動すれば良い。
「.NET for Apache Spark ガイドのチュートリアル部」を動画化してある。
https://dotnet.microsoft.com/learn/data/spark-tutorial/intro
のチュートリアル部
Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard