求人情報詳細
NEW 株式会社フィックスターズ LLMモデル学習・分散学習最適化エンジニア
正社員
1000万円
| 仕事内容 | 【概要】 LLM(大規模言語モデル)の開発における、継続事前学習(CPT)、教師あり微調整(SFT)、 強化学習(RL)の学習実行とパフォーマンス評価・改善を担っていただきます。 実験管理ツールや各種ログから、学習の効率・性能に関するボトルネックを仮説ベースで特定し、 モデルのポテンシャルを最大限に引き出すための検証と改善を主導するポジションです。 現在のLLM開発において、多くのエンジニアが直面している課題の一つが「計算資源の不足や、実験の順番待ちによる開発スピードの停滞」です。 どれだけ優れた仮説があっても、検証環境が限られていれば最適なアプローチを見出すことは困難になります。 当プロジェクトの最大のおもしろさは、数十ノード規模の大規模なGPUクラスタ環境を、順番待ちのストレスなく豊富に活用できる点にあります。 本ポジションでは、インフラの構築そのものではなく、この潤沢な計算資源を最大限に活かし、実際のモデル学習を回しながら 評価結果やログを徹底的に分析していただきます。 「データに基づいて仮説を立て、学習の効率化や性能向上に向けた改善を迅速に回す」という、 モデル開発の本質的なプロセスに集中して取り組める環境です。 【具体的な職務内容】 ・大規模言語モデルの開発における継続事前学習(CPT)、教師あり微調整(SFT)、および強化学習(RL)の学習実行と検証 ・WandBなどの実験管理ツールを用いた評価結果の調査、および各種ログ分析に基づく学習効率・性能のボトルネック特定 ・特定したボトルネックに対する仮説ベースの改善策(ハイパーパラメータや分散トポロジーの調整等)の立案・検証・適用 ・モデル学習の効率化や精度向上に向けた、合成データ生成を含むデータパイプラインの運用と評価 ・分散学習フレームワークを用いた、モデルの学習安定性およびメモリ効率化に関する検証・チューニング 【従事すべき業務の変更の範囲】 会社の定める業務全般 【プロジェクトのやりがい】 ・計算資源の制約や順番待ちに縛られることなく、自身の立てた仮説に基づく大規模な実験・検証を迅速に実行できる ・評価メトリクスやログといった定量データから「どこが詰まっているか」を紐解き、自身のチューニングによって学習効率やモデル性能が向上していく手応えをダイレクトに実感できる ・継続事前学習から強化学習、データ生成まで、LLM開発のライフサイクル全体における「実行・評価・改善」の高度なノウハウを体系的に蓄積できる 【開発環境】 開発環境:Python, PyTorch, Megatron-LM / Megatron Bridge, NVIDIA-NeMo その他開発環境:AWS (EC2, EKS), AWS ParallelCluster, Slurm, Linux 開発支援ツール:git, GitHub, Docker, WandB (Weights&Biases) <働き方> リモートワークについて:一部可 ※制度としては週2日までが上限となります。 |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 経験・資格 |
※求人情報の応募要件全てに該当しなくても、企業様に対して内々に打診したり相談することが可能な場合もございます。一つでも当てはまる方は前向きにご検討下さい。
【必須スキル】・深層学習モデル(特に大規模モデル)のCPT/SFT/RL等学習実行経験、および実験管理ツールやログ(WandBなど)を用いたパフォーマンス評価・ボトルネックの改善経験 ・論理的思考に基づき、課題解決に向けた設計から実装、検証までを自走して遂行できる能力 【歓迎スキル】 ・AWS ParallelClusterやSlurmなどのHPC/クラスタ環境を用いた実務経験 ・Megatron BridgeやNVIDIA-NeMo/RLなどの先端フレームワークを用いた最適化経験 ・CPT、SFT、強化学習(RL/RLHF)のパイプライン構築や、データ処理(合成データ生成等)の効率化に関する知見 ・GPU間通信(NCCL等)のチューニングや、インフラレイヤにおけるボトルネック解析の経験 ・関連する技術ドキュメントや論文を読み解き、システム設計へ適用できる能力 【求める人物像】 ・評価結果やログなどの定量的なデータに基づき、仮説ベースでロジカルにボトルネックを紐解き、改善を繰り返せる方 ・高い主体性を持ち、環境の強みを活かして自ら進んで実験・検証を推進できる方 ・理論的な理解に留まらず、実際の学習プロセスにおける安定動作や効率化といった「実装の質」にこだわりを持てる方 ・自身の専門領域に捉われず、データ、モデル、インフラの繋がりを意識した課題解決を楽しめる方 ※更なる詳細事項は、カウンセリング(面談)時にお伝えします。 |
||||||||||||||||
| 想定年収 | 600 万円 ~ 1050 万円 | ||||||||||||||||
| 勤務地 |
東京都港区芝浦1-1-1 BLUE FRONT SHIBAURA TOWER S 31階
【受動喫煙対策の有無:有】
屋内全面禁煙 |
||||||||||||||||
| 福利厚生・待遇 | ●手当・保険等 交通費全額支給(上限6万円/月)、家族手当、業績賞与(業績に応じて支給)、社外常駐手当等 ●社員持株会制度 会社の成長が、個人の資産形成とつながるように、社員に持株会を通じて株式の購入を推奨しています。その際、会社として奨励金(100%)を補助しています。 |
||||||||||||||||
| 勤務条件 |
|
||||||||||||||||
| 企業データ |
|
||||||||||||||||
| 取材班による独自解説 | データ量の増加や機能高度化が起こる先端技術製品の開発にあたり障壁となる「計算処理効率」。 この課題解決を大容量ストレージ関連技術及びアルゴリズムの軽量化といった高速化処理技術によって支援するソフトウェア開発企業。 様々な産業分野で実績を上げており、その対象は車載、モバイル、映像、医療、産業機器、ビッグデータ、金融と幅広い。マルチコアプロセッサの性能を引き出し、演算処理の高速化を実現する製品においてはリーディングカンパニーと言える。 その確かで高度な技術力で多数のナショナルクライアントから信頼を得ており、リピート率は98%。 AI、機械学習、深層学習といった領域でのソフトウェアの高度化、またハードウェアの高度化によって、高速化人材の需要が増すことも追い風になり、順調な成長を続けている。 クライアントの作成した仕様書を受けて請負・委託に入る他IT会社とは異なり、クライアントの研究開発に入り込み、性能課題に対して直接コンサルティングを行い、課題解決を行う。 社員の9割はエンジニア。経営陣にもエンジニアが含まれている。 高等専門学校(高専)から大学・大学院に進んだ方や、大手メーカー、研究所の出身者も多く、確かな技術力を持ったメンバーが揃う。 MBA/PhD取得希望者には学費と交通費を補助しており、 自らの経験や社内状況を鑑みつつも、基本的には本人の希望を基としてプロジェクト配属を決定している。 コーディングに集中できる設備や、社内プログラミングコンテストの開催、また外部コンテストへの参加支援制度が整うなど、エンジニアにとって快適かつ刺激的な環境が整っている。 代表取締役がスキー好きの為、オフィスの会議室には世界の雪山の名前が付けられている。 | ||||||||||||||||
| Recruiting No. | 01007208000111 |
関連する業種から探す
エリートネットワークのおすすめの『転職体験記』
-
- ネットサービス会社に勤務しながら、博士号(情報科学)を取得した30歳プロダクトマネージャー。バーチャルから飛び出し、リアルに挑戦したく自動車メーカーの商品企画部へ
- 前職
- 【東証プライム上場 SNS、ゲーム、メタバース等インターネットサービス老舗企業】
グループ会社出向 プラットフォーム事業本部 プロダクトチーム 3Dアバター配信アプリのプロダクトマネージャー(イベント施策の企画・機能開発等)
→プラットフォーム事業本部 売上改善チーム シニアマネージャー(KPI策定・達成管理、開発進行管理、北米アートチームとの制作プロジェクトリード等)
→プラットフォーム事業本部 プロダクトマネジメントチーム マネージャー(新規事業の立ち上げ、後継マネージャーの育成)
※社内の最優秀賞、CEO賞受賞
- 現職
- 【東証プライム上場 完成車メーカー】
プロダクト企画部 デジタルプロダクト開発における商品企画・プロダクトマネジメント
転職体験記を読む -
- 統計解析を研究した博士29歳。任期1年の特定助教から、財閥系総合重機メーカーのデータサイエンティストに転職成功
- 前職
- 【旧帝国大学 大学院】
経済学研究科の特定助教(研究テーマ:統計解析、機械学習、計量経済学)
- 現職
- 【東証プライム上場 財閥系 総合重機メーカー】
AI・データサイエンティスト(機械学習、深層学習、大規模言語モデル)
転職体験記を読む -
- 工学博士29歳。バイオインフォマティクス解析技術を活かし、アカデミア(国立大学)から、AI活用データ解析に強みのテクノロジー企業に転職成功。
- 前職
- 【地方国立大学】
博士研究員(バイオインフォマティクス解析によるがん研究)
- 現職
- 【AIを活用したデータ解析や情報管理のソリューション企業】
AI事業本部 ライフサイエンス分野でのAI研究
転職体験記を読む
他社が対応しきれない最後の精度向上を任される等、同社の「高速化処理技術」には高い信頼を寄せられている。
技術力の向上に役立つ書籍やツール等にはお金を惜しまない風土。
優秀な人材と共に働きながら、幅広い案件を通じて自身の技術力を磨いていける環境に魅力を感じて入社する人が多数。