「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
チュートリアルを実施してみた。
Get started in 10 minutes
≒ .NET for Apache Spark 101+α
≒ .NET for Apache Spark ガイド+α
≠ github.com...README.md#get-started
詳細 †
開発 †
Get started †
- デモを見た限り、入力はTXTファイルで単語を数える。
- メソッド構文のSpark SQLで単語を数える(いきなりハードル高い)。
- 分散環境では、どのように入力を取得するのか?
バッチ処理 †
- デモを見た限り、入力はCSVファイルで集計処理を行う。
- 同様に、分散環境では、どのように入力を取得するのか?
構造化ストリーミング †
(別名、マイクロ・バッチ)
- デモを見た限り、入力はNetcatからのテキスト行で、変換処理を行う。
- UDFをメソッド構文のSpark SQLから利用し、エンリッチメントする。
- 同様に、分散環境では、どのように入力を取得するのか?
- デモを見た限り、入力はyelptest.csvで、感情分析を行う。
- なお、学習は、yelptrain.csvを使用して行う。
- 学習の結果、XXXXML.Modelプロジェクトが生成されるので、参照を追加する。
- ML処理を呼出すUDFをクエリ構文のSpark SQLから利用する。
- 同様に、分散環境では、どのように入力を取得するのか?
デプロイ †
参考 †
msdn.com †
Channel 9 > .NET for Apache Spark 101 †
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101
- Sentiment Analysis with .NET for Apache Spark and ML.NET
- Deploy .NET for Apache Spark App to
microsoft.com †
Get started in 10 minutes †
https://dotnet.microsoft.com/learn/data/spark-tutorial/intro
- その他のチュートリアル
.NET for Apache Spark
- .NET for Apache Spark アプリケーションをデプロイする
Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard