Component-Driven Design & Development

2024/08/24 14 users

フロントエンドカンファレンス北海道2024 https://www.frontend-conf.jp/ X https://twitter.com/__sakito__ 続きを読む

1兆 (1T) パラメータ規模のLLMの事前学習検証 - Preferred Networks Research & Development

2024/08/20 9 users LLM Gener Preferred Networks

Preferred Networksの子会社のPreferred Elements(以下PFE)では7月から約1ヶ月の間、1兆 (1T) パラメータ規模のLLMの事前学習について検証を行っていました。今回の記事ではこの取り組みとその結果について紹介します。 この検証は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Gener... 続きを読む

大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development

2023/10/26 13 users Fine-tuning 言語モデル 検討

本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育... 続きを読む

日本語LLMベンチマークと自動プロンプトエンジニアリング - Preferred Networks Research & Development

2023/10/13 13 users Preferred Networks Research

大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニン... 続きを読む

再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development

2023/09/26 9 users Preferred Networks Research

私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広... 続きを読む

Best Rust Web Frameworks to Use in 2023

2023/08/24 23 users of Web

Best Rust Web Frameworks to Use in 2023 In the dynamic landscape of web development, Rust has emerged as a language of choice for building safe and performant applications. As Rust's popularity grows, so does the array of web frameworks designed to harness its strengths. This article compares som... 続きを読む

深層学習のための分散キャッシュシステム - Preferred Networks Research & Development

2023/07/18 8 users Preferred Networks Research

エンジニアの上野です。Cluster Sevicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介... 続きを読む

PFNで10年続く読書会について - Preferred Networks Research & Development

2022/12/26 8 users pfn ワークスペース 総務 構築 実験環境

総務・ファシリティ担当のやまかつです。初blogなので軽く自己紹介します。4年前にインテリア設計事務所からPreferred Networks (PFN)に総務担当として入社しました。ワークスペースや実験環境の構築や運営維持が主な仕事ですが、実は入社前から読書会のことは噂に聞いており、当時から参加することを楽しみにしていまし... 続きを読む

国内総生産(GDP)は国家の成功の誤解を招く尺度なので別の指標を使うべきという科学者たちからの提案

2022/11/03 5 users 尺度 ＧＤＰ articles 指標 誤解

国内総生産(GDP)は国家の成功を測る指標としては誤解を招きやすく、各国は今すぐ新しい指標を取り入れるべきだと、オーストラリア国立大学クロフォード公共政策大学院のロバート・コスタンザ氏らは指摘しています。 Development: Time to leave GDP behind | Nature https://www.nature.com/articles/505283a GDPは1930... 続きを読む

PFNのKubernetesクラスタのCNI Plugin - Preferred Networks Research & Development

2022/10/26 6 users pfn Kubernetesクラスタ MN-Core GPU

エンジニアの清水です。PFNでは、計算アクセラレータとしてGPUを採用するMN-2と自社開発のMN-Coreを採用するMN-3をKubernetesクラスタとして運用しており、その中でCNI Pluginを内製開発して使っています。このブログでは、内製CNI Pluginの話を中心にこれまでPFNのKubernetesクラスタのネットワーク部分、特に、CNI Plu... 続きを読む

Apache Ozoneをやっていた一年 - Preferred Networks Research & Development

2021/12/10 9 users Preferred Networks Research

Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks にお... 続きを読む

YJIT: CRuby向けの新しいJITコンパイラを構築する（翻訳）｜TechRacho by BPS株式会社

2021/11/02 6 users YJIT Shopify Engineering 許諾 翻訳

概要 Shopify Engineeringの許諾を得て翻訳・公開いたします。本記事は公開前にShopify Engineeringにレビューをいただいています。 英語記事: YJIT: Building a New JIT Compiler for CRuby — Development (2021) 原文公開日: 2021/10/14 原著者: Maxime Chevalier サイト: Shopify Engineering 画像は元記事のものです... 続きを読む

PFN の Kubernetes クラスタにおける Uninterruptible Sleep との付き合い方 | Preferred Networks Research & Development

2021/06/09 10 users pfn Kubernetes クラスタ 坂田 須田

Preferred Networks エンジニアの坂田です。普段は社内向けの GPU サーバークラスタの運用管理の業務などをやっております。 先日、DevOpsDays Tokyo 2021 というイベントで、弊社 須田と一緒に PFN が Kubernetes を使って GPU クラスタを運用する中で経験してきた障害とその対応の自動化や、Kubernetes クラスタそのも... 続きを読む

ridgepoleの起動をめっちゃ早くする

2021/04/16 13 users Ridgepole Gemfile gem Group 要約

要約 新gem spring-commands-ridgepoleを作ったので使ってみてね。 Gemfileに gem 'spring-commands-ridgepole', group: :development をコピペするだけでinstallできるよ。 $ bin/spring binstub ridgepole でbinstubを作って、 $ bin/ridgepole で使えるよ。 ridgepoleという神ツールを皆様御存知でしょうか。 Rails m... 続きを読む

TypeScript support in Svelte - Learn web development | MDN

2021/03/30 9 users MdN Learn Web

In the last article we learned about Svelte stores and even implemented our own custom store to persist the app's information to Web Storage. We also had a look at using the transition directive to implement animations on DOM elements in Svelte. We will now learn how to use TypeScript in Svelte a... 続きを読む

Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 | Preferred Networks Research & Development

2021/03/26 14 users Linter Formatter github.com 一元

Home Blog Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 Python向けのlinter/formatter設定ツール「pysen」を pypi.org および github.com で一般公開しました。 このツールは主にPython向けのlinter/formatterの設定を一元管理し、Preferred Networks社内でよく使わ... 続きを読む

Nintendo Switch向けに移植された『スーパーマリオサンシャイン』は、独自ディープラーニング技術によって高解像度化されていた | AUTOMATON

2021/03/23 11 users スーパ Nerd スーパーマリオサンシャイン 任天堂 フランス

任天堂がNintendo Switch向けに昨年9月に発売した『スーパーマリオ ３Ｄコレクション』について、フランスに所在する子会社Nintendo European Research & Development（NERD）が、その開発に貢献していたことを明らかにしている。 『スーパーマリオ ３Ｄコレクション』は、NINTENDO 64向けに1996年に発売された『スーパ... 続きを読む

When to use HTTPS for local development

2021/01/28 18 users when to use https POST time

When to use HTTPS for local development Using http://localhost for local development is fine most of the time, except in some special cases. This post explains when you need to run your local development site with HTTPS. Also see: How to use HTTPS for local development. In this post, statements a... 続きを読む

Static Typing for Ruby — Development

2020/11/20 9 users

Join us November 25, 2020 at 1 pm EST for ShipIt! Presents: The State of Ruby Static Typing at Shopify as we talk about static typing at Shopify. We’ll share why we chose Sorbet for the monolith and the lessons we learned along the way the way. Please Register. Shopify changes a lot. We merge aro... 続きを読む

MN-3の高精度電力計測にむけた取り組み | Preferred Networks Research & Development

2020/11/20 12 users MN-3 GRE pfn 構築 前回

はじめに 2020年11月17日早朝（日本時間）に開催されたSC20のTOP500 BoFにおいて、今年2回目のTOP500/Green500ランキングが発表されました。PFNが構築・運用している深層学習用スーパーコンピュータMN-3は前回に続きリストに掲載されました。MN-3は電力効率指標　26.04GFlops/W、最大演算性能 1,652.9TFlops の記録でGre... 続きを読む

TOP500とGreen500:コンピュータの性能指標をどう読むか | Preferred Networks Research & Development

2020/07/02 17 users Preferred Networks Research

1. はじめに 2020年6月22日深夜（日本時間）にリモート開催されたISC2020のTOP500セッションで、PFNが作った深層学習用スーパーコンピュータ、MN-3が21.11 GFlops/WのHPLベンチマークの実行性能をあげ、Green500ランキングで500システム中No.1になりました（写真1）。開発チームの一員として、ここに至るまでの苦労の連... 続きを読む

Preferred Networks におけるHadoop | Preferred Networks Research & Development

2020/06/29 10 users 以下PFN Hadoop ひと ロボット 過程

Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理を... 続きを読む

10万円給付金オンライン申請のエラーと注意点 | DEVELOPMENT

2020/05/12 17 users 以下 スマートフォン 実際 オンライン申請 特別定額給付金

特別定額給付金のオンライン申請が始まっていたので試してみたのですが、エラーで進まなかったり必要な手続きをやっていなかったりで結構苦労することになりました。 この記事は、実際に申請した際のエラーと注意点をまとめています。 必要なもの オンライン申請をスマートフォンからやろうと思った場合、以下のものが必... 続きを読む

Optuna の拡張機能 LightGBM Tuner によるハイパーパラメータ自動最適化 | Preferred Networks Research & Development

2020/01/20 17 users Pyhton LightGBM Optuna モジュール 小嵜

Optuna 開発メンバの小嵜 (@smly) です。この記事では Optuna の拡張機能として開発している LightGBM Tuner について紹介します。 LightGBM Tuner は LightGBM に特化したハイパーパラメータ自動最適化のためのモジュールです。Pyhton コードの import 文を 1 行変更するだけで簡単に利用できます。LightGBM Tuner はエ... 続きを読む

【ICLR2020採択論文】GANのなめらかさと安定性 | Preferred Networks Research & Development

2020/01/06 13 users GaN 安定性

リサーチャーの南です。機械学習のトップ会議のひとつであるICLR2020に、2019年度PFN夏季インターンのCasey Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。 Casey Chu, Kentaro Minami and Kenji Fukumizu. Smoothness and Stability in GANs. In International Conference on Learning Repre... 続きを読む