タグ「Development」 - はてブログ

タグ Development

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 70件)

大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development

2023/10/26 13 users Fine-tuning 言語モデル検討

本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育... 続きを読む

日本語LLMベンチマークと自動プロンプトエンジニアリング - Preferred Networks Research & Development

2023/10/13 13 users Preferred Networks Research

大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニン... 続きを読む

再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development

2023/09/26 9 users Preferred Networks Research

私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広... 続きを読む

Best Rust Web Frameworks to Use in 2023

2023/08/24 23 users of Web

Best Rust Web Frameworks to Use in 2023 In the dynamic landscape of web development, Rust has emerged as a language of choice for building safe and performant applications. As Rust's popularity grows, so does the array of web frameworks designed to harness its strengths. This article compares som... 続きを読む

深層学習のための分散キャッシュシステム - Preferred Networks Research & Development

2023/07/18 8 users Preferred Networks Research

エンジニアの上野です。Cluster Sevicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介... 続きを読む

PFNで10年続く読書会について - Preferred Networks Research & Development

2022/12/26 8 users pfn ワークスペース総務構築実験環境

総務・ファシリティ担当のやまかつです。初blogなので軽く自己紹介します。4年前にインテリア設計事務所からPreferred Networks (PFN)に総務担当として入社しました。ワークスペースや実験環境の構築や運営維持が主な仕事ですが、実は入社前から読書会のことは噂に聞いており、当時から参加することを楽しみにしていまし... 続きを読む

国内総生産(GDP)は国家の成功の誤解を招く尺度なので別の指標を使うべきという科学者たちからの提案

2022/11/03 5 users 尺度ＧＤＰ articles 指標誤解

国内総生産(GDP)は国家の成功を測る指標としては誤解を招きやすく、各国は今すぐ新しい指標を取り入れるべきだと、オーストラリア国立大学クロフォード公共政策大学院のロバート・コスタンザ氏らは指摘しています。 Development: Time to leave GDP behind | Nature https://www.nature.com/articles/505283a GDPは1930... 続きを読む

PFNのKubernetesクラスタのCNI Plugin - Preferred Networks Research & Development

2022/10/26 6 users pfn Kubernetesクラスタ MN-Core GPU

エンジニアの清水です。PFNでは、計算アクセラレータとしてGPUを採用するMN-2と自社開発のMN-Coreを採用するMN-3をKubernetesクラスタとして運用しており、その中でCNI Pluginを内製開発して使っています。このブログでは、内製CNI Pluginの話を中心にこれまでPFNのKubernetesクラスタのネットワーク部分、特に、CNI Plu... 続きを読む

Apache Ozoneをやっていた一年 - Preferred Networks Research & Development

2021/12/10 9 users Preferred Networks Research

Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks にお... 続きを読む

YJIT: CRuby向けの新しいJITコンパイラを構築する（翻訳）｜TechRacho by BPS株式会社

2021/11/02 6 users YJIT Shopify Engineering 許諾翻訳

概要 Shopify Engineeringの許諾を得て翻訳・公開いたします。本記事は公開前にShopify Engineeringにレビューをいただいています。英語記事: YJIT: Building a New JIT Compiler for CRuby — Development (2021) 原文公開日: 2021/10/14 原著者: Maxime Chevalier サイト: Shopify Engineering 画像は元記事のものです... 続きを読む

PFN の Kubernetes クラスタにおける Uninterruptible Sleep との付き合い方 | Preferred Networks Research & Development

2021/06/09 10 users pfn Kubernetes クラスタ坂田須田

Preferred Networks エンジニアの坂田です。普段は社内向けの GPU サーバークラスタの運用管理の業務などをやっております。先日、DevOpsDays Tokyo 2021 というイベントで、弊社須田と一緒に PFN が Kubernetes を使って GPU クラスタを運用する中で経験してきた障害とその対応の自動化や、Kubernetes クラスタそのも... 続きを読む

ridgepoleの起動をめっちゃ早くする

2021/04/16 13 users Ridgepole Gemfile gem Group 要約

要約新gem spring-commands-ridgepoleを作ったので使ってみてね。 Gemfileに gem 'spring-commands-ridgepole', group: :development をコピペするだけでinstallできるよ。 $ bin/spring binstub ridgepole でbinstubを作って、 $ bin/ridgepole で使えるよ。 ridgepoleという神ツールを皆様御存知でしょうか。 Rails m... 続きを読む

TypeScript support in Svelte - Learn web development | MDN

2021/03/30 9 users MdN Learn Web

In the last article we learned about Svelte stores and even implemented our own custom store to persist the app's information to Web Storage. We also had a look at using the transition directive to implement animations on DOM elements in Svelte. We will now learn how to use TypeScript in Svelte a... 続きを読む

Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 | Preferred Networks Research & Development

2021/03/26 14 users Linter Formatter github.com 一元

Home Blog Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 Python向けのlinter/formatter設定ツール「pysen」を pypi.org および github.com で一般公開しました。このツールは主にPython向けのlinter/formatterの設定を一元管理し、Preferred Networks社内でよく使わ... 続きを読む

Nintendo Switch向けに移植された『スーパーマリオサンシャイン』は、独自ディープラーニング技術によって高解像度化されていた | AUTOMATON

2021/03/23 11 users スーパ Nerd スーパーマリオサンシャイン任天堂フランス

任天堂がNintendo Switch向けに昨年9月に発売した『スーパーマリオ３Ｄコレクション』について、フランスに所在する子会社Nintendo European Research & Development（NERD）が、その開発に貢献していたことを明らかにしている。『スーパーマリオ３Ｄコレクション』は、NINTENDO 64向けに1996年に発売された『スーパ... 続きを読む

When to use HTTPS for local development

2021/01/28 18 users when to use https POST time

When to use HTTPS for local development Using http://localhost for local development is fine most of the time, except in some special cases. This post explains when you need to run your local development site with HTTPS. Also see: How to use HTTPS for local development. In this post, statements a... 続きを読む

Static Typing for Ruby — Development

2020/11/20 9 users

Join us November 25, 2020 at 1 pm EST for ShipIt! Presents: The State of Ruby Static Typing at Shopify as we talk about static typing at Shopify. We’ll share why we chose Sorbet for the monolith and the lessons we learned along the way the way. Please Register. Shopify changes a lot. We merge aro... 続きを読む

(1 - 25 / 70件)

次の25件 »