Conema

〇データ収集 　自社・パートナー・クライアントのサービスからログを取得するためのSDKの開発 　パートナー・クライアントとのデータの受け渡しをするためのデータインテグレーション基盤の構築 　Webクローリングやスクレイピングなどの、webから情報を収集するシステムの構築 〇データ管理 　収集したデータを保存するデータレイクの設計と構築 　加工済みデータを保存するデータウェアハウス(DWH)の設計と構築 　データの閲覧・処理権限の管理 　データ処理 　バッチ / ストリーミングベースのデータパイプラインの開発と運用 　BIツールを用いたデータの可視化 〇他のエンジニア職と共通の業務 　サービスの安定提供を24×7で維持するためのシステム運用 　システムの技術的な問題の発見と解決 　運用を自動化あるいは低コストにするためのツールの開発

〇AWSやGCP、Azureなどのクラウドにおける開発経験 〇下記の項目を1つ以上満たす方 ・データベース、データウェアハウスを使ったデータ基盤の開発経験 ・データ処理パイプラインの開発経験 ・Apache Hadoop、Sparkなどの分散データ処理の開発経験 ・Webスクレイピングなどのwebから情報を収集するシステムの開発経験

Python, AWS, Hadoop, Apache, Google Cloud Platform, Apache Spark