正社員
【Dev】バックエンドエンジニア(データ基盤開発)
- 579万円~879万円想定年収 5,798,000円~8,798,000円
- 東京都港区
【現状の課題】
事業拡大と共にユーザーが拡大していく中、真に求める情報を届けるために以下のような課題に向き合っています。
■効率的に情報拡充するためのデータパイプラインの開発、改善
■Web上のニュース、論文、特許、社内文書などを安定的に収集・拡充していくための監視基盤の構築
■ユーザーの行動を元に情報を完全自動で拡張する仕組みの構築
【業務内容】
全プロダクト共通のデータ配信システムに位置する、Webクローラーと文書配信パイプライン
の設計、開発、運用を行なっていただきます。
データプラットフォームチームをリードし生産性の最大化を行うことも期待しています。
▽具体的な業務内容
■TypeScript/Rust/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用
■大規模言語モデル(LLM)の学習に必要となる日本語データセットの作成
■顧客の社内文献を解析/配信するための解析ロジック及びデータパイプラインの新規構築と運用
■FaaS/CaaSによる分散処理のスケーラビリティ向上と監視設計
【ポジションの魅力】
■数億件規模の文書データのサーバーレス分散処理に携わることができる
■数万サイトを対象としたWebクローラーの開発に携わることで、Webフロント・バックエンド両方の知見を活かしつつ、不安定なシステムの監視・運用設計のノウハウを取得できる
■PdMやCustomer Successチームとコミュニケーションしながら新規開発や改善策を自身で提案・開発することで、事業へのコミットを経験できる
事業内容・業種
ソフトウェアベンダ