マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

Spark SQLを、.NET for Apache Sparkで書く。

詳細

操作

基本

https://github.com/dotnet/spark/blob/main/examples/Microsoft.Spark.CSharp.Examples/Sql/Batch/Basic.cs

列の分割

Column arrayCol = Split(lines.Col("value"), " ");
DataFrame df = null;
df = lines.WithColumn("col1", arrayCol.GetItem(0));
df = df.WithColumn("col2", arrayCol.GetItem(1));
df = df.WithColumn("col3", arrayCol.GetItem(2));

集計

参考

Spark SQL - 開発基盤部会 Wiki

https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20SQL


Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-07-30 (金) 17:27:59 (53d)