Azure Databricks
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テ...
---[[Azure HDInsight]]
---Azure Databricks
---[[Azure Data Factory]]
---[[Elastic on Azure]]
--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノ...
---[[Azure Stream Analytics]]
---[[Azure HDInsight]]のHadoop、Spark、Storm
---Azure DatabricksのApache Spark
---[[Azure Data Factory]]
--[[AI系サービス>AzureのAI系サービス]]
---[[Azure Machine Learning]]
---Azure Databricks
---[[Azure Cognitive Services]]
---[[Azure OpenAI Service]]
---[[Azure Applied AI Services]]
---[[Azure AI インフラストラクチャ]]
* 目次 [#b3cd9b45]
#contents
*概要 [#y566e931]
-[[分散処理基盤であるApache Spark>.NET for Apache Spark#z...
ビッグデータ、統合データ分析プラットフォーム
-Apache Spark、Delta Lake、および MLflow の作成者によって...
**用途 [#b0c50859]
ビッグデータ分析ワークロードで利用する。
-ETLのようなバッチ処理
-データ・パイプラインの過程
-データ・サイエンティスト向けのフル稼働の計算資源~
には向かない(→ Data Science Virtual Machines)。
**コンセプト [#kb93e337]
***DataとAIの⺠主化 [#b96b6657]
「DataとAIの⺠主化」を実現する[[機能>#l991a5dd]]
***レイクハウス [#j83930a1]
-[[データレイク>https://dotnetdevelopmentinfrastructure.o...
-ただ、
--ブロンズ
--シルバー
--ゴールド
>データ領域とか、そう言う概念はあるらしい。
*詳細 [#afef169b]
**機能 [#l991a5dd]
***業務領域 [#g23cba0c]
-ビジネス分析(BI/レポート)
-⾃由検索(SQLアナリティクス)
-機械学習(+深層学習)
***データ種類 [#l968c047]
-構造化(CRM(のRDB)など)
-半構造化(JSON/XMLなど)
-⾮構造化(画像・動画など)
***処理タイプ [#va2ed102]
-[[バッチ処理>https://dotnetdevelopmentinfrastructure.oss...
-[[ストリーミング処理>https://dotnetdevelopmentinfrastruc...
***拡張性 [#rce6d352]
-ストレージ拡張
-リソース拡張
-クラウド(マネージドサービス)
***コラボレーション [#f9ea99ee]
同時編集・コメント・ロギング機能にて、チームでの開発を加速
-ビジネス・アナリスト
-データ・サイエンティスト
-データ・エンジニア
→ [[デジタルイニシアティブ実⾏体制>https://dotnetdevelopm...
***⾔語 [#q263a4f6]
多⾔語対応にて、スキルの壁を跨いでコラボレーション
-SQL
-Python/R
-Scala
**アーキテクチャ [#m54b6289]
***コントロール プレーン [#c58a1cc2]
-MSFTサブスクリプションにデプロイされる。
-クラスタを構成するドライバーとワーカー両方のノードに使用...
***データ プレーン [#ucce16dc]
-自サブスクリプションのVNETにデプロイされる。
--MSFTが管理するVNET
--自身で管理するVNET
-サーバーレス プールを使用することもできる?
***[[Azure Kubernetes Service (AKS)]] [#t09497e8]
-[[データ プレーン>#ucce16dc]]では、[[Azure Kubernetes Se...
-NvMe SSD を使用するDv3 VM上で動作するコンテナ上で動作す...
**スタック [#q7dd27f7]
***データレイク [#idf2578e]
-[[データレイクとは>https://dotnetdevelopmentinfrastructu...
-多種多様な全てのデータをデータレイクに格納
--[[Azure Blob Storage>Azureのストレージ#w947118f]]
--[[Azure Data Lake Storage>Azure Data Lake]]
--その他
---[[Azure Cosmos DB]]
---[[Azure SQL Data Warehouse、Azure Synapse>Azure Synaps...
***DELTA LAKE [#ca1bd94b]
-[[⾼信頼性、⾼性能 ≒ ⾼品質なデータレイク ≒ レイクハウス...
-以下を実現する
--⾼信頼性
---ACIDトランザクション
---タイムトラベル / スナップショット
---バッチとストリーミング統合([[Apache Spark>.NET for Ap...
---スキーマ妥当性検証とエボリューション
--⾼性能~
[[Apache Spark>.NET for Apache Spark#zf579f45]] Optimized...
---インデックス
---コンパクション
---データスキッピング
---キャッシング
--オープンソースのオープンな形式をベース(Parquet)
***DELTA ENGINE [#f58ecd98]
-SQL分析・ダッシュボード(要するにウワモノ)の⾼速化を⽀...
-高性能なクエリ・エンジン。
--[[Apache Spark>.NET for Apache Spark#zf579f45]] 3.0で開...
--Spark SQLとDataFrame APIのワークロードを加速させる。
---インプットを⾃動的にキャッシュ化
---[[Apache Spark>.NET for Apache Spark#zf579f45]]のオプ...
---ネイティブ(C++)でベクトル化された実⾏エンジン(Photo...
***[[上モノ>#wc8ad36f]] [#ue991f43]
**セキュリティ [#k6fe9cbd]
***暗号化 [#ubc5a413]
-保存時の暗号化~
ストレージ系サービスの標準的な方式
--サービス マネージド キー(Microsoft が管理)
--ユーザー マネージド キー([[Key Vault]]と併用して管理)
-転送中の暗号化([[TLS>SSL/TLS]])~
[[コントロール プレーン>#c58a1cc2]] → [[データ プレーン>#...
***[[AzAD>Azure Active Directory]] を使用 [#p82be925]
[[RBAC>Role Based Access Control (RBAC)]] と IAM を利用可...
-アクセス制御
--クラスタ
--ノートブックとフォルダー
--テーブルとビュー
--Azure Data Lake Storage (ADLS)
--ジョブの実行結果
-[[AzADトークンのサポート>Microsoft Azure Active Director...
***ネットワーク [#q021b5f2]
-[[VNet ピアリング>Azureの仮想ネットワーク ピアリング]](...
-VNet インジェクション
--[[データ プレーン>#ucce16dc]] リソースを独自 VNet にデ...
--以下が利用可能になる。
---独自 VNetへのネットワーク・アクセス
---独自 VNetからのネットワーク・アクセス
**違い [#r7bb634f]
***OSS版との違い [#c54edad8]
...
|クラウド・サービス|OSS|h
|DELTA LAKE|DELTA LAKE|
|DELTA ENGINE|-|
|||
|||
***[[Azure HDInsight]]との違い [#p816d80e]
-[[Apache Spark>.NET for Apache Spark#zf579f45]]に特化し...
-[[Hadoop>.NET for Apache Spark#zf579f45]]テクノロジ スタ...
HDFSではない、[[データ ソース>#idf2578e]]を使用できる。~
**上モノ [#wc8ad36f]
***多様なユースケース [#obdccdb9]
さまざまなデータソースから集約された、~
⾼品質なデータセットにアクセス可能であるため、~
1つのプラットフォーム上で多様なユースケースを実現可能。
-Redash~
BI レポート&ダッシュボード
***Workspace [#ge2cf6f2]
[[機械学習のツールの課題>https://dotnetdevelopmentinfrast...
-データ・サイエンスチームの⽣産性を向上
-1つのプラットフォームにて多種多様な~
ツール・⾔語・フレームワークを利⽤可能
-コラボレーション可能な[[ノートブック>Azure DatabricksのN...
***MLflow [#d551b469]
[[機械学習のデプロイの課題>https://dotnetdevelopmentinfra...
-標準化された機械学習ライフサイクル
>モデル学習→ モデル登録→ モデル⽐較→ 承認ワークフロー→ モ...
-シームレスにセキュアに機械学習モデルをステージングから本...
--MLflowトラッキング
---実験のトラッキングと検索
---レコードとクエリの実験:コード、データ、コンフィグ、結果
--MLflowプロジェクト
---再現可能なプロジェクト
---あらゆるプラットフォームで再現可能なように~
パッケージ化されたデータ・サイエンス・コード
--MLflowモデル・レジストリ
---モデル管理とレビュー
---セントラルのレポジトリーにて~
モデルを保存、注釈付与、管理
--MLflowモデル・サービング
---柔軟なデプロイ⽅法
---機械学習モデルを様々な環境に簡易にデプロイ可能
---RESTエンドポイント
**[[チュートリアル>Azure Databricksチュートリアル]] [#td9...
*参考 [#rb721d92]
**gihyo.jp … 技術評論社 [#f10e8ecf]
-2019年10月17日 "データレイク"のスタンダードをめざす ―~
Databricks,「Delta Lake」をLinux Foundationに寄贈:Linux...
https://gihyo.jp/admin/clip/01/linux_dt/201910/17
**クリエーションライン株式会社 [#zab22aab]
-Azure Databricks の紹介~
'#Microsoft #Azure #DataBricks #spark~
https://www.creationline.com/blog/20865
**ナレコムAzureレシピ [#g8816121]
https://azure-recipe.kc-cloud.jp/category/databricks/
-[[Azure Databricksを使ってみた>https://azure-recipe.kc-c...
-[[Databricks Introduction について簡単にまとめてみた>htt...
-Azure Databricks:
--[[1. リソースの作成>https://azure-recipe.kc-cloud.jp/20...
--[[2. Databricksの基本事項>https://azure-recipe.kc-cloud...
-Databricks事例紹介
--[[~金融編~>https://azure-recipe.kc-cloud.jp/2020/09/d...
--[[~医療編~>https://azure-recipe.kc-cloud.jp/2020/09/d...
--[[~教育編~>https://azure-recipe.kc-cloud.jp/2020/09/d...
--[[~コンシューマー編~>https://azure-recipe.kc-cloud.jp...
--[[~メディア編~>https://azure-recipe.kc-cloud.jp/2020/...
-【はじめての Databricks】金融取引データから異常検知
--[[#1 導入/環境構築>https://azure-recipe.kc-cloud.jp/202...
--[[#2 データ可視化>https://azure-recipe.kc-cloud.jp/2020...
--[[#3 Anomaly Detector>https://azure-recipe.kc-cloud.jp/...
--[[#4 初期モデル構築>https://azure-recipe.kc-cloud.jp/20...
--[[#5 リモデル/モデル比較>https://azure-recipe.kc-cloud....
-Databricks でワインの品質を予測するモデルを構築
--[[1>https://azure-recipe.kc-cloud.jp/2020/09/databrick...
--[[2>https://azure-recipe.kc-cloud.jp/2020/09/databrick...
-[[Excel / Azure Notebook / Databricks で同じことをやって...
**Microsoft Azure [#p2e0aecc]
-Azure Databricks~
https://azure.microsoft.com/ja-jp/services/databricks/
**Microsoft Docs [#g14ff8ee]
***Azure Databricks のドキュメント [#ff0425ed]
https://docs.microsoft.com/ja-jp/azure/databricks/
-概要~
https://docs.microsoft.com/ja-jp/azure/databricks/scenari...
-クイックスタート~
ワークスペースの作成
--ポータル
--Azure PowerShell
--ARM テンプレート
--仮想ネットワーク
-チュートリアル
--Docker コンテナで稼働している SQL Server に対するクエリ
--Azure Key Vault を使用したストレージへのアクセス
--Cosmos DB サービス エンドポイントの使用
--ETL 操作の実行
--Event Hubs を使用したデータのストリーミング
--Cognitive Services を使用した感情分析
-リファレンス
--Databricks CLI~
https://docs.microsoft.com/ja-jp/azure/databricks/dev-too...
***[[.NET for Apache Spark ガイド>.NET for Apache Spark#w...
...
-使い方ガイド
--[[データーへの接続>.NET for Apache Sparkチュートリアル#...
--リモート ジョブを送信する
---Databricks にジョブを送信する~
https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guid...
-[[チュートリアル>.NET for Apache Sparkチュートリアル#zd2...
--.NET for Apache Spark アプリケーションをデプロイする~
---Azure Databricks~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/d...
-Channel 9 > .NET for Apache Spark 101~
Deploy .NET for Apache Spark App to
--Azure Databricks [7 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101...
***Learn [#kc5cc4cf]
-Azure Databricks を使用した Data Engineering~
https://docs.microsoft.com/ja-jp/learn/paths/data-enginee...
--Azure Databricks の説明~
https://docs.microsoft.com/ja-jp/learn/modules/describe-a...
--Spark アーキテクチャの基礎~
https://docs.microsoft.com/ja-jp/learn/modules/spark-arch...
--Azure Databricks でデータの~
読み取りと書き込みを行う~
https://docs.microsoft.com/ja-jp/learn/modules/read-write...
--Azure Databricks におけるプラットフォーム~
アーキテクチャ、セキュリティ、データ保護について説明する~
https://docs.microsoft.com/ja-jp/learn/modules/describe-p...
--Delta Lake の構築とクエリ~
https://docs.microsoft.com/ja-jp/learn/modules/build-quer...
--Azure Data Factory を使用して~
Azure Databricks の運用ワークロードを作成する~
https://docs.microsoft.com/ja-jp/learn/modules/create-pro...
--Azure DevOps を使用した CI/CD の実装~
https://docs.microsoft.com/ja-jp/learn/modules/implement-...
--Azure Databricks を Azure Synapse と統合する~
https://docs.microsoft.com/ja-jp/learn/modules/integrate-...
--Azure Databricks のベスト プラクティスについて説明する~
https://docs.microsoft.com/ja-jp/learn/modules/describe-a...
--[[DataFrames(Spark SQL)関連>https://dotnetdevelopment...
**YouTube [#v0862266]
-はじめての Azure Databricks | 日本マイクロソフト~
https://www.youtube.com/watch?v=ftoMWOzWncw
-はじめての Azure Databricks ストリーム分析~
https://www.youtube.com/watch?v=N8q8iCJzt34
**slideshare.net [#n69e6bdc]
-アプリケーション開発者のためのAzure Databricks入門~
https://www2.slideshare.net/yokawasa/azure-databricks-111...
-[Microsoft Tech Summit 2018] Azure Machine Learning サー...
https://www2.slideshare.net/satonaoki/20181107techsummita...
**[[開発基盤部会 Wiki & Blog>.NET for Apache Spark#zf579f...
----
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグ...
終了行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テ...
---[[Azure HDInsight]]
---Azure Databricks
---[[Azure Data Factory]]
---[[Elastic on Azure]]
--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノ...
---[[Azure Stream Analytics]]
---[[Azure HDInsight]]のHadoop、Spark、Storm
---Azure DatabricksのApache Spark
---[[Azure Data Factory]]
--[[AI系サービス>AzureのAI系サービス]]
---[[Azure Machine Learning]]
---Azure Databricks
---[[Azure Cognitive Services]]
---[[Azure OpenAI Service]]
---[[Azure Applied AI Services]]
---[[Azure AI インフラストラクチャ]]
* 目次 [#b3cd9b45]
#contents
*概要 [#y566e931]
-[[分散処理基盤であるApache Spark>.NET for Apache Spark#z...
ビッグデータ、統合データ分析プラットフォーム
-Apache Spark、Delta Lake、および MLflow の作成者によって...
**用途 [#b0c50859]
ビッグデータ分析ワークロードで利用する。
-ETLのようなバッチ処理
-データ・パイプラインの過程
-データ・サイエンティスト向けのフル稼働の計算資源~
には向かない(→ Data Science Virtual Machines)。
**コンセプト [#kb93e337]
***DataとAIの⺠主化 [#b96b6657]
「DataとAIの⺠主化」を実現する[[機能>#l991a5dd]]
***レイクハウス [#j83930a1]
-[[データレイク>https://dotnetdevelopmentinfrastructure.o...
-ただ、
--ブロンズ
--シルバー
--ゴールド
>データ領域とか、そう言う概念はあるらしい。
*詳細 [#afef169b]
**機能 [#l991a5dd]
***業務領域 [#g23cba0c]
-ビジネス分析(BI/レポート)
-⾃由検索(SQLアナリティクス)
-機械学習(+深層学習)
***データ種類 [#l968c047]
-構造化(CRM(のRDB)など)
-半構造化(JSON/XMLなど)
-⾮構造化(画像・動画など)
***処理タイプ [#va2ed102]
-[[バッチ処理>https://dotnetdevelopmentinfrastructure.oss...
-[[ストリーミング処理>https://dotnetdevelopmentinfrastruc...
***拡張性 [#rce6d352]
-ストレージ拡張
-リソース拡張
-クラウド(マネージドサービス)
***コラボレーション [#f9ea99ee]
同時編集・コメント・ロギング機能にて、チームでの開発を加速
-ビジネス・アナリスト
-データ・サイエンティスト
-データ・エンジニア
→ [[デジタルイニシアティブ実⾏体制>https://dotnetdevelopm...
***⾔語 [#q263a4f6]
多⾔語対応にて、スキルの壁を跨いでコラボレーション
-SQL
-Python/R
-Scala
**アーキテクチャ [#m54b6289]
***コントロール プレーン [#c58a1cc2]
-MSFTサブスクリプションにデプロイされる。
-クラスタを構成するドライバーとワーカー両方のノードに使用...
***データ プレーン [#ucce16dc]
-自サブスクリプションのVNETにデプロイされる。
--MSFTが管理するVNET
--自身で管理するVNET
-サーバーレス プールを使用することもできる?
***[[Azure Kubernetes Service (AKS)]] [#t09497e8]
-[[データ プレーン>#ucce16dc]]では、[[Azure Kubernetes Se...
-NvMe SSD を使用するDv3 VM上で動作するコンテナ上で動作す...
**スタック [#q7dd27f7]
***データレイク [#idf2578e]
-[[データレイクとは>https://dotnetdevelopmentinfrastructu...
-多種多様な全てのデータをデータレイクに格納
--[[Azure Blob Storage>Azureのストレージ#w947118f]]
--[[Azure Data Lake Storage>Azure Data Lake]]
--その他
---[[Azure Cosmos DB]]
---[[Azure SQL Data Warehouse、Azure Synapse>Azure Synaps...
***DELTA LAKE [#ca1bd94b]
-[[⾼信頼性、⾼性能 ≒ ⾼品質なデータレイク ≒ レイクハウス...
-以下を実現する
--⾼信頼性
---ACIDトランザクション
---タイムトラベル / スナップショット
---バッチとストリーミング統合([[Apache Spark>.NET for Ap...
---スキーマ妥当性検証とエボリューション
--⾼性能~
[[Apache Spark>.NET for Apache Spark#zf579f45]] Optimized...
---インデックス
---コンパクション
---データスキッピング
---キャッシング
--オープンソースのオープンな形式をベース(Parquet)
***DELTA ENGINE [#f58ecd98]
-SQL分析・ダッシュボード(要するにウワモノ)の⾼速化を⽀...
-高性能なクエリ・エンジン。
--[[Apache Spark>.NET for Apache Spark#zf579f45]] 3.0で開...
--Spark SQLとDataFrame APIのワークロードを加速させる。
---インプットを⾃動的にキャッシュ化
---[[Apache Spark>.NET for Apache Spark#zf579f45]]のオプ...
---ネイティブ(C++)でベクトル化された実⾏エンジン(Photo...
***[[上モノ>#wc8ad36f]] [#ue991f43]
**セキュリティ [#k6fe9cbd]
***暗号化 [#ubc5a413]
-保存時の暗号化~
ストレージ系サービスの標準的な方式
--サービス マネージド キー(Microsoft が管理)
--ユーザー マネージド キー([[Key Vault]]と併用して管理)
-転送中の暗号化([[TLS>SSL/TLS]])~
[[コントロール プレーン>#c58a1cc2]] → [[データ プレーン>#...
***[[AzAD>Azure Active Directory]] を使用 [#p82be925]
[[RBAC>Role Based Access Control (RBAC)]] と IAM を利用可...
-アクセス制御
--クラスタ
--ノートブックとフォルダー
--テーブルとビュー
--Azure Data Lake Storage (ADLS)
--ジョブの実行結果
-[[AzADトークンのサポート>Microsoft Azure Active Director...
***ネットワーク [#q021b5f2]
-[[VNet ピアリング>Azureの仮想ネットワーク ピアリング]](...
-VNet インジェクション
--[[データ プレーン>#ucce16dc]] リソースを独自 VNet にデ...
--以下が利用可能になる。
---独自 VNetへのネットワーク・アクセス
---独自 VNetからのネットワーク・アクセス
**違い [#r7bb634f]
***OSS版との違い [#c54edad8]
...
|クラウド・サービス|OSS|h
|DELTA LAKE|DELTA LAKE|
|DELTA ENGINE|-|
|||
|||
***[[Azure HDInsight]]との違い [#p816d80e]
-[[Apache Spark>.NET for Apache Spark#zf579f45]]に特化し...
-[[Hadoop>.NET for Apache Spark#zf579f45]]テクノロジ スタ...
HDFSではない、[[データ ソース>#idf2578e]]を使用できる。~
**上モノ [#wc8ad36f]
***多様なユースケース [#obdccdb9]
さまざまなデータソースから集約された、~
⾼品質なデータセットにアクセス可能であるため、~
1つのプラットフォーム上で多様なユースケースを実現可能。
-Redash~
BI レポート&ダッシュボード
***Workspace [#ge2cf6f2]
[[機械学習のツールの課題>https://dotnetdevelopmentinfrast...
-データ・サイエンスチームの⽣産性を向上
-1つのプラットフォームにて多種多様な~
ツール・⾔語・フレームワークを利⽤可能
-コラボレーション可能な[[ノートブック>Azure DatabricksのN...
***MLflow [#d551b469]
[[機械学習のデプロイの課題>https://dotnetdevelopmentinfra...
-標準化された機械学習ライフサイクル
>モデル学習→ モデル登録→ モデル⽐較→ 承認ワークフロー→ モ...
-シームレスにセキュアに機械学習モデルをステージングから本...
--MLflowトラッキング
---実験のトラッキングと検索
---レコードとクエリの実験:コード、データ、コンフィグ、結果
--MLflowプロジェクト
---再現可能なプロジェクト
---あらゆるプラットフォームで再現可能なように~
パッケージ化されたデータ・サイエンス・コード
--MLflowモデル・レジストリ
---モデル管理とレビュー
---セントラルのレポジトリーにて~
モデルを保存、注釈付与、管理
--MLflowモデル・サービング
---柔軟なデプロイ⽅法
---機械学習モデルを様々な環境に簡易にデプロイ可能
---RESTエンドポイント
**[[チュートリアル>Azure Databricksチュートリアル]] [#td9...
*参考 [#rb721d92]
**gihyo.jp … 技術評論社 [#f10e8ecf]
-2019年10月17日 "データレイク"のスタンダードをめざす ―~
Databricks,「Delta Lake」をLinux Foundationに寄贈:Linux...
https://gihyo.jp/admin/clip/01/linux_dt/201910/17
**クリエーションライン株式会社 [#zab22aab]
-Azure Databricks の紹介~
'#Microsoft #Azure #DataBricks #spark~
https://www.creationline.com/blog/20865
**ナレコムAzureレシピ [#g8816121]
https://azure-recipe.kc-cloud.jp/category/databricks/
-[[Azure Databricksを使ってみた>https://azure-recipe.kc-c...
-[[Databricks Introduction について簡単にまとめてみた>htt...
-Azure Databricks:
--[[1. リソースの作成>https://azure-recipe.kc-cloud.jp/20...
--[[2. Databricksの基本事項>https://azure-recipe.kc-cloud...
-Databricks事例紹介
--[[~金融編~>https://azure-recipe.kc-cloud.jp/2020/09/d...
--[[~医療編~>https://azure-recipe.kc-cloud.jp/2020/09/d...
--[[~教育編~>https://azure-recipe.kc-cloud.jp/2020/09/d...
--[[~コンシューマー編~>https://azure-recipe.kc-cloud.jp...
--[[~メディア編~>https://azure-recipe.kc-cloud.jp/2020/...
-【はじめての Databricks】金融取引データから異常検知
--[[#1 導入/環境構築>https://azure-recipe.kc-cloud.jp/202...
--[[#2 データ可視化>https://azure-recipe.kc-cloud.jp/2020...
--[[#3 Anomaly Detector>https://azure-recipe.kc-cloud.jp/...
--[[#4 初期モデル構築>https://azure-recipe.kc-cloud.jp/20...
--[[#5 リモデル/モデル比較>https://azure-recipe.kc-cloud....
-Databricks でワインの品質を予測するモデルを構築
--[[1>https://azure-recipe.kc-cloud.jp/2020/09/databrick...
--[[2>https://azure-recipe.kc-cloud.jp/2020/09/databrick...
-[[Excel / Azure Notebook / Databricks で同じことをやって...
**Microsoft Azure [#p2e0aecc]
-Azure Databricks~
https://azure.microsoft.com/ja-jp/services/databricks/
**Microsoft Docs [#g14ff8ee]
***Azure Databricks のドキュメント [#ff0425ed]
https://docs.microsoft.com/ja-jp/azure/databricks/
-概要~
https://docs.microsoft.com/ja-jp/azure/databricks/scenari...
-クイックスタート~
ワークスペースの作成
--ポータル
--Azure PowerShell
--ARM テンプレート
--仮想ネットワーク
-チュートリアル
--Docker コンテナで稼働している SQL Server に対するクエリ
--Azure Key Vault を使用したストレージへのアクセス
--Cosmos DB サービス エンドポイントの使用
--ETL 操作の実行
--Event Hubs を使用したデータのストリーミング
--Cognitive Services を使用した感情分析
-リファレンス
--Databricks CLI~
https://docs.microsoft.com/ja-jp/azure/databricks/dev-too...
***[[.NET for Apache Spark ガイド>.NET for Apache Spark#w...
...
-使い方ガイド
--[[データーへの接続>.NET for Apache Sparkチュートリアル#...
--リモート ジョブを送信する
---Databricks にジョブを送信する~
https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guid...
-[[チュートリアル>.NET for Apache Sparkチュートリアル#zd2...
--.NET for Apache Spark アプリケーションをデプロイする~
---Azure Databricks~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/d...
-Channel 9 > .NET for Apache Spark 101~
Deploy .NET for Apache Spark App to
--Azure Databricks [7 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101...
***Learn [#kc5cc4cf]
-Azure Databricks を使用した Data Engineering~
https://docs.microsoft.com/ja-jp/learn/paths/data-enginee...
--Azure Databricks の説明~
https://docs.microsoft.com/ja-jp/learn/modules/describe-a...
--Spark アーキテクチャの基礎~
https://docs.microsoft.com/ja-jp/learn/modules/spark-arch...
--Azure Databricks でデータの~
読み取りと書き込みを行う~
https://docs.microsoft.com/ja-jp/learn/modules/read-write...
--Azure Databricks におけるプラットフォーム~
アーキテクチャ、セキュリティ、データ保護について説明する~
https://docs.microsoft.com/ja-jp/learn/modules/describe-p...
--Delta Lake の構築とクエリ~
https://docs.microsoft.com/ja-jp/learn/modules/build-quer...
--Azure Data Factory を使用して~
Azure Databricks の運用ワークロードを作成する~
https://docs.microsoft.com/ja-jp/learn/modules/create-pro...
--Azure DevOps を使用した CI/CD の実装~
https://docs.microsoft.com/ja-jp/learn/modules/implement-...
--Azure Databricks を Azure Synapse と統合する~
https://docs.microsoft.com/ja-jp/learn/modules/integrate-...
--Azure Databricks のベスト プラクティスについて説明する~
https://docs.microsoft.com/ja-jp/learn/modules/describe-a...
--[[DataFrames(Spark SQL)関連>https://dotnetdevelopment...
**YouTube [#v0862266]
-はじめての Azure Databricks | 日本マイクロソフト~
https://www.youtube.com/watch?v=ftoMWOzWncw
-はじめての Azure Databricks ストリーム分析~
https://www.youtube.com/watch?v=N8q8iCJzt34
**slideshare.net [#n69e6bdc]
-アプリケーション開発者のためのAzure Databricks入門~
https://www2.slideshare.net/yokawasa/azure-databricks-111...
-[Microsoft Tech Summit 2018] Azure Machine Learning サー...
https://www2.slideshare.net/satonaoki/20181107techsummita...
**[[開発基盤部会 Wiki & Blog>.NET for Apache Spark#zf579f...
----
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグ...
ページ名: