【1151】Azure Databricks アーキテクト
~ 1,000,000 / 月額
業務委託/非公開
募集概要·背景
案件名:Azure Databricks アーキテクト
場所: ハイブリッド(週2日出社予定)
期間:2024年7月1日~2024年11月29日(延長の可能性あり)
単価:~100万円
業務内容:
Azure Databricks開発プロジェクトで、CXプロジェクトにおけるデータ管理システム
を開発します。
自動車業界 で、モデリング、クレンジングを含む、あるレイヤーから次のレイヤーへのデータ変換。
(レイヤー1⇒レイヤー2⇒レイヤー3)
レイヤー3からML等へのフィード、BIによる分析(別チームでの作業)
担当業務としては下記になります。
- Azure Databricksソリューションの設計と提供。
- 要件分析とソリューションアーキテクチャ設計。
- 顧客が作成したポリシーや標準をレビューし、ベストプラクティスを推奨する。
- データモデリングとデータアーキテクチャ設計
- ETL、データ統合、データ移行設計
- データ品質システムとプロセスの設計
- 要件の分析と仕様の作成
- ソリューションの文書化(ソースからロー、ローからキュレーション)
- ソリューションの文書化(ソースからローへ、ローからキュレーションへ)
- プロジェクト管理チーム内で、より広いチームの一員として主導的な役割を果たす。
求める人物像
応募資格:
日英バイリンガル
スキル要件:
<必須>
・データ関連プロジェクト経験10年以上
・Azure環境でのデータ分析、変換、モデリング、データブリックへの移行経験
・Azureデータレイクストレージ、Databricksクラスタに精通していること。
・Databricksのアーキテクチャとコンポーネント(ノートブック、ジョブ)の深い理解
・データインフラ(Databricks)
・ジョブ、Databricksノートブックのパフォーマンス最適化
・Spark、SQL、DataFramesに関する深い知識
・Python、Pysparkのプログラミング経験