NEW 楽天グループ株式会社 Distributed Training & Inference Optimization Engineer (LLM) - GPU Optimization Department (GPUOD)

ブックマーク一覧

仕事内容	●Business Overview AI&Data Division (AIDD) spearheads data science&AI initiatives by leveraging data from Rakuten Group. We build a platform for large-scale field experimentations using cutting-edge technologies to provide critical insights that enable faster and better and faster contribution for our business. Our division boasts an international culture created by talented employees from around the world. Following the strategic vision“Rakuten as a data-driven membership company”, AIDD is expanding its data&AI related activities across multiple Rakuten Group companies. ●Department Overview GPU Optimization Department (GPUOD) is responsible for the strategic management, optimization, and governance of Rakuten's company-wide AI infrastructure, ensuring high-performance, cost-efficient utilization of compute resources for machine learning workloads. We oversee a large-scale hybrid infrastructure spanning thousands of accelerators, including the latest Hopper and upcoming Blackwell architectures. ●As a central enabler for AI innovation, we: - Optimize compute resource allocation across on-premises and multi-cloud environments, maximizing efficiency for training and inference workloads. - Manage hybrid orchestration of diverse accelerator resources, ensuring seamless scalability and cost-effective deployment. - Develop and enhance frameworks for large-scale distributed training, with special focus on LLMs and generative AI. - Optimize inference performance through model optimization techniques and system-level acceleration. - Collaborate with internal teams to deliver scalable, high-availability inference services tailored to business needs. - Continuously evaluate next-generation hardware solutions, including specialized AI chips optimized for LLM workloads. - By effectively managing both conventional and specialized compute resources across on-premises and cloud environments, our team ensures Rakuten's AI ecosystem remains at the forefront of performance, reliability, and cost-efficiency. ●Why We Hire - Work on cutting-edge LLM training&inference optimization at scale. - Directly impact Rakuten’s AI infrastructure by improving efficiency and reducing costs. - Collaborate with global AI/ML teams on high-impact challenges. - Opportunity to research and implement state-of-the-art GPU optimizations. ●Position Details As a GPU Training&Inference Optimization Engineer, you will focus on maximizing the performance, efficiency, and scalability of LLM training and inference workloads on Rakuten’s GPU clusters. You will deeply optimize training frameworks (e.g., PyTorch, DeepSpeed, FSDP) and inference engines (e.g., vLLM, TensorRT-LLM, Triton, SGLang), ensuring Rakuten’s AI models run at peak efficiency. This role requires strong expertise in GPU-accelerated ML frameworks, distributed training, and inference optimization, with a focus on reducing training time, improving GPU utilization, and minimizing inference latency. ●Key Responsibilities - Optimize LLM training frameworks (e.g., PyTorch, DeepSpeed, Megatron-LM, FSDP) to maximize GPU utilization and reduce training time. - Profile and optimize distributed training bottlenecks (e.g., NCCL issues, CUDA kernel efficiency, communication overhead). - Implement and tune inference optimizations (e.g., quantization, dynamic batching, KV caching) for low-latency, high-throughput LLM serving (vLLM, TensorRT-LLM, Triton, SGLang). - Collaborate with infrastructure teams to improve GPU cluster scheduling, resource allocation, and fault tolerance for large-scale training jobs. - Develop benchmarking tools to measure and improve training throughput, memory efficiency, and inference latency. - Research and apply cutting-edge techniques (e.g., mixture-of-experts, speculative decoding) to optimize LLM performance.
経験・資格	※求人情報の応募要件全てに該当しなくても、企業様に対して内々に打診したり相談することが可能な場合もございます。一つでも当てはまる方は前向きにご検討下さい。 ●Mandatory Qualifications: - Hands-on experience in GPU-accelerated ML training&inference optimization, preferably for LLMs or large-scale deep learning models. - Deep expertise in PyTorch, DeepSpeed, FSDP, or Megatron-LM, with experience in distributed training optimizations. - Strong knowledge of LLM inference optimizations (e.g., quantization, pruning, KV caching, continuous batching). - Bachelor’s or higher degree in Computer Science, Engineering, or related field. ●Desired Qualifications: - Proficiency in CUDA, Triton kernel, NVIDIA tools (Nsight, NCCL), and performance profiling (e.g., PyTorch Profiler, TensorBoard). - Experience with LLM-specific optimizations (e.g., FlashAttention, PagedAttention, LoRA, speculative decoding). - Familiarity with Kubernetes (K8s) for GPU workloads (e.g., KubeFlow, Volcano). - Contributions to open-source ML frameworks (e.g., PyTorch, DeepSpeed, vLLM). - Experience with inference serving frameworks (e.g., vLLM, TensorRT-LLM, Triton, Hugging Face TGI). ※更なる詳細事項は、カウンセリング（面談）時にお伝えします。
想定年収	※ご経験、スキルにより応相談
勤務地	東京都世田谷区玉川1-14-1
勤務時間	標準勤務時間帯 9:00～17:30　所定労働時間7.5時間、休憩時間1時間です。 ※楽天グループ朝会実施日の就業時間は8:00～16:30となります。 ※一部のポジションでは、企画業務型裁量労働制または専門業務型裁量労働制の適用対象となる場合があります。 ※一部、フレックスタイム制を適用しています。コアタイム：11:00～15:00（朝会実施日は8:00～12:00）
休日・休暇	●休日／完全週休2日制（土、日）・祝日 ●休暇／夏季休暇・年末年始休暇・年次有給休暇・特別休暇など
昇給・給与	●昇給：年2回、6月・12月に会社実績や本人の評価により見直しを行います。 ●賞与：年2回、6月・12月に会社及び個人の業績により支給します。
加入保険	厚生年金保険、健康保険、労災保険、雇用保険など
受動喫煙対策の有無	有 ●屋内の受動喫煙対策：有（屋内禁煙）
企業データ	会社名 楽天グループ株式会社 設立 1997年2月7日 資本金 452,646百万円 従業員数 単体：9,885名、連結：29,334名 株式 ◆東証プライム上場 事業内容 ●インターネットサービス ・ECカンパニー ・ライフ＆レジャーカンパニー ・通信＆エナジーカンパニー ・インベストメントカンパニー ・新サービス開発カンパニー ・スポーツカンパニー ・楽天インタラクティブカンパニー ●FinTech(金融) ・カード＆ペイメントカンパニー ・証券カンパニー ・銀行カンパニー ・保険カンパニー
取材班による独自解説	今もなお急成長を続けるメガベンチャー。 国内最大のオンラインショッピングサイト『楽天市場』を運営する他、プロ野球チームを保有していることでも有名。 世界でも先駆けてインターネットショッピングモールを展開し、設立からわずか3年で株式の店頭公開を果たしている。 また、通販以外にも、ポータルサイト、宿泊予約、証券、クレジットカード、人材、マーケティングリサーチ等、様々な分野における総合サービスを提供。 スピードを大切にしており、他社が1年かかることを1ヶ月でやり遂げる。 業務だけでなく、昇格も同様で、会社への貢献度によっては、1～2年後にマネジメントポジションに昇格することも。 社員同士の仲は良く、ベテランも新人も隔たりなく何でも言い合ったり、気軽にランチに行く等、これだけの大規模な会社であるにも関わらず風通しは非常に良い。 採用方針として、あえて学歴は問わず、チャレンジ精神の強い方を積極的に受け入れている。
Recruiting No.	01000158004515