▽ポジション概要
LINEヤフーの多様なサービスにおいて、Apache Kafkaはリアルタイムイベント処理とデータ連携の中心的な役割を担っています。「LINE」のメッセージングサービスをはじめ、ニュース、広告など、多くの大規模サービスが生成する膨大なイベントデータ(1兆メッセージ規模)が、同社の提供するKafkaプラットフォームを通じてリアルタイムに処理されています。
これらのサービスの根幹を支えるべく、最高レベルの信頼性・パフォーマンスを実現しながら大規模なデータを処理するために、同社のチームでは、SRE(Site Reliability Engineering)プラクティスにもとづくプロアクティブな運用を中心に、Apache Kafka本体からJVM、OS、ときにはハードウェアまで含めた、横断的かつ多岐にわたる技術領域での調査と最適化に日々取り組んでいます。
これまでの取り組みについては積極的に外部発信も行い、OSSコミュニティへの貢献もしています。
■One Day, One Data Hub - 100 Billion Messages with Kafka at LINE (Kafka Summit SF 2017)
▽https://www.confluent.io/kafka-summit-sf17/one-day-one-data-hub-100-billion-messages-kafka-at-line/
■Investigating Request Delay in a Large-Scale Kafka Cluster Caused by TCP (LINE DEVELOPER DAY 2021)
▽https://linedevday.linecorp.com/2021/en/sessions/160/
■[KAFKA-4614] Long GC pause harming broker performance which is caused by mmap objects created for OffsetIndex
▽https://issues.apache.org/jira/browse/KAFKA-4614
■KIP-764: Configurable backlog size for creating Acceptor
▽https://cwiki.apache.org/confluence/display/KAFKA/KIP-764%3A+Configurable+backlog+size+for+creating+Acceptor
LINEヤフーのビジネスを支える基盤として、拡大・高度化していくニーズに応えていくため、ともにプラットフォームの成長と進化を加速する新たな仲間を強く求めています。組織のミッション・展望
▽主な業務内容
同ポジションは、IMF(Internal Message Flow)と呼ばれるチームに所属し、以下のようなエンジニアリングに従事することが期待されています。
■Kafkaプラットフォームの設計、開発、SREプラクティスにもとづいたプロアクティブな運用(モニタリング、オブザーバビリティ向上、自動化、キャパシティプランニング、障害対応、ポストモーテム分析)
■Apache Kafkaの開発(パフォーマンス解析、バグ修正や機能拡張など)と開発したコードのコミュニティへの積極的な還元
■データガバナンスやセキュリティ要件を考慮したアーキテクチャ設計・実装
■プラットフォーム価値を最大化するエコシステムやクライアントライブラリ(例:Decaton - GitHub)の設計・開発
■LINEヤフー内の各サービス開発チームに対する、プラットフォームの最適な活用方法に関する
■コンサルティング、技術サポート、トラブルシューティング支援
※変更の範囲:会社の定める全ての業務への配置転換の可能性あり
事業内容・業種
Webサービス・Webメディア(EC/ASP/ポータル/SNS等)