大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development

2023/10/26 13 users Fine-tuning Development 言語モデル

本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育... 続きを読む

日本語LLMベンチマークと自動プロンプトエンジニアリング - Preferred Networks Research & Development

2023/10/13 13 users Development

大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニン... 続きを読む

再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development

2023/09/26 9 users Development pfn 再計算 最適化 MN-Core

私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広... 続きを読む

深層学習のための分散キャッシュシステム - Preferred Networks Research & Development

2023/07/18 8 users Development pfn 深層学習 基盤 エンジニア

エンジニアの上野です。Cluster Sevicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介... 続きを読む

PFNで10年続く読書会について - Preferred Networks Research & Development

2022/12/26 8 users pfn ワークスペース Development 総務 構築

総務・ファシリティ担当のやまかつです。初blogなので軽く自己紹介します。4年前にインテリア設計事務所からPreferred Networks (PFN)に総務担当として入社しました。ワークスペースや実験環境の構築や運営維持が主な仕事ですが、実は入社前から読書会のことは噂に聞いており、当時から参加することを楽しみにしていまし... 続きを読む

PFNのKubernetesクラスタのCNI Plugin - Preferred Networks Research & Development

2022/10/26 6 users pfn Kubernetesクラスタ MN-Core GPU

エンジニアの清水です。PFNでは、計算アクセラレータとしてGPUを採用するMN-2と自社開発のMN-Coreを採用するMN-3をKubernetesクラスタとして運用しており、その中でCNI Pluginを内製開発して使っています。このブログでは、内製CNI Pluginの話を中心にこれまでPFNのKubernetesクラスタのネットワーク部分、特に、CNI Plu... 続きを読む

Apache Ozoneをやっていた一年 - Preferred Networks Research & Development

2021/12/10 9 users Development

Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks にお... 続きを読む

PFN の Kubernetes クラスタにおける Uninterruptible Sleep との付き合い方 | Preferred Networks Research & Development

2021/06/09 10 users pfn Kubernetes Development 坂田

Preferred Networks エンジニアの坂田です。普段は社内向けの GPU サーバークラスタの運用管理の業務などをやっております。 先日、DevOpsDays Tokyo 2021 というイベントで、弊社 須田と一緒に PFN が Kubernetes を使って GPU クラスタを運用する中で経験してきた障害とその対応の自動化や、Kubernetes クラスタそのも... 続きを読む

Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 | Preferred Networks Research & Development

2021/03/26 14 users Linter Formatter github.com 一元

Home Blog Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 Python向けのlinter/formatter設定ツール「pysen」を pypi.org および github.com で一般公開しました。 このツールは主にPython向けのlinter/formatterの設定を一元管理し、Preferred Networks社内でよく使わ... 続きを読む

MN-3の高精度電力計測にむけた取り組み | Preferred Networks Research & Development

2020/11/20 12 users Development MN-3 GRE pfn 構築

はじめに 2020年11月17日早朝（日本時間）に開催されたSC20のTOP500 BoFにおいて、今年2回目のTOP500/Green500ランキングが発表されました。PFNが構築・運用している深層学習用スーパーコンピュータMN-3は前回に続きリストに掲載されました。MN-3は電力効率指標　26.04GFlops/W、最大演算性能 1,652.9TFlops の記録でGre... 続きを読む

TOP500とGreen500:コンピュータの性能指標をどう読むか | Preferred Networks Research & Development

2020/07/02 17 users Development コンピュータ 性能指標 TOP500

1. はじめに 2020年6月22日深夜（日本時間）にリモート開催されたISC2020のTOP500セッションで、PFNが作った深層学習用スーパーコンピュータ、MN-3が21.11 GFlops/WのHPLベンチマークの実行性能をあげ、Green500ランキングで500システム中No.1になりました（写真1）。開発チームの一員として、ここに至るまでの苦労の連... 続きを読む

Preferred Networks におけるHadoop | Preferred Networks Research & Development

2020/06/29 10 users 以下PFN Hadoop Development ひと 過程

Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理を... 続きを読む

Optuna の拡張機能 LightGBM Tuner によるハイパーパラメータ自動最適化 | Preferred Networks Research & Development

2020/01/20 17 users Pyhton LightGBM Optuna モジュール 小嵜

Optuna 開発メンバの小嵜 (@smly) です。この記事では Optuna の拡張機能として開発している LightGBM Tuner について紹介します。 LightGBM Tuner は LightGBM に特化したハイパーパラメータ自動最適化のためのモジュールです。Pyhton コードの import 文を 1 行変更するだけで簡単に利用できます。LightGBM Tuner はエ... 続きを読む

【ICLR2020採択論文】GANのなめらかさと安定性 | Preferred Networks Research & Development

2020/01/06 13 users GaN Development 安定性

リサーチャーの南です。機械学習のトップ会議のひとつであるICLR2020に、2019年度PFN夏季インターンのCasey Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。 Casey Chu, Kentaro Minami and Kenji Fukumizu. Smoothness and Stability in GANs. In International Conference on Learning Repre... 続きを読む