arXivから2024年のLLMトレンド追ってみた

2024/12/18 11 users LLM 論文 Advent Calendar 清水 大賑わい

はじめに こんにちは、株式会社松尾研究所 シニアデータサイエンティストの清水です。本記事は、松尾研究所 Advent Calendar 2024の記事です。 2024年も残り僅かとなりましたが、今年もLLM(Large Language Model)で大賑わいの1年となりました。そこでこの記事では今年1年の中でarXivに投稿されたLLMに関する論文を分析し... 続きを読む

1兆のテキストトークン・34億個の画像・PDF・ArXivの論文などを含むオープンソースのデータセット「MINT-1T」をSalesforceが公開

2024/07/25 16 users GitHub SalesForce Research 論文

クラウドコンピューティングサービスを提供するSalesforceのAI研究部門・Salesforce AI Researchが、1兆ものテキストトークンを含むオープンソースのマルチモーダルデータセット「MINT-1T」を公開しました。 GitHub - mlfoundations/MINT-1T: MINT-1T: A one trillion token multimodal interleaved dataset. https://gi... 続きを読む

Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog

2024/04/27 54 users 自動生成 LLM Claude ＴＳＰ GPT

178{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3... 続きを読む

Appleがスマホの画面を認識できるマルチモーダルLLM「Ferret-UI」を発表、SiriがiPhoneアプリのUIを理解できるようになる可能性も

2024/04/10 15 users abs マルチモーダルLLM MLLM Siri 論文

Appleの研究者が、スマートフォンのアプリUIを理解するために設計したマルチモーダル大規模言語モデル(MLLM)の「Ferret-UI」を開発したという論文を、未査読論文リポジトリであるarXivで公開しました。 [2404.05719] Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs https://arxiv.org/abs/2404.0571... 続きを読む

AIに「『スター・トレック』の船長になりきって」と指示すると数学の問題でより良いパフォーマンスが発揮されることを研究者が発見

2024/03/04 21 users 船長 数学 スター・トレック LLM 発見

by JD Hancock 「大規模言語モデル(LLM)にSFドラマ『スター・トレック』の登場人物になりきるようなプロンプトを入力すると、数学の問題を解く能力が向上した」という論文が、未査読論文リポジトリであるarXivに掲載されました。 あ [2402.10949] The Unreasonable Effectiveness of Eccentric Automatic Prompts https:... 続きを読む

速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）

2024/03/02 175 users 1ビットLLM 速報 abs 話題 chapter

2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビッ... 続きを読む

Appleは大規模言語モデルをiPhone上でローカルに動作させることを目指している

2023/12/22 15 users iPhone上 Apple 言語モデル プレプリントサーバー

Appleの研究者が「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」と題した論文をプレプリントサーバーのarXivに公開しました。この論文では「メモリが限られたデバイス上で大規模言語モデル(LLM)の推論を効果的に行う道を開く解決策」、すなわちiPhoneなどのデバイス上でLLMを動作さ... 続きを読む

「オセロが解けた」を白黒ハッキリさせようじゃないか｜情報処理学会・学会誌「情報処理」

2023/12/15 9 users オセロ プレイヤ 白黒 学会誌 論文

山名琢翔（筑波大学） オセロが解かれた？！　"Othello is Solved"というタイトルの論文がarXivに投稿されました$${^{☆1}}$$．オセロでは，初期局面から双方のプレイヤがミスをせずに打ち続ければ，終局結果は引き分けになると証明できたと言うのです． オセロを「解く」とはどういうことなのか．どうやって解いたのか．... 続きを読む

論文投稿サイト「arXiv」に1000万ドル超の寄付　クラウド移行やコードの最新化に活用

2023/10/25 10 users 財団 寄付 米コーネル大学 クラウド移行 ITインフラ

米コーネル大学が、同学の研究機関が運営する論文投稿サイト「arXiv」について、基礎科学研究を支援する米国の財団「サイモンズ財団」と米国国立科学財団から1000万ドル超の寄付を受け取ったと発表した。寄付金はarXivのクラウド化やコードの最新化など、ITインフラの強化に充てるという。 米コーネル大学は10月19日（現... 続きを読む

「室温かつ常圧で超電導状態になる物質」を開発したとする論文＆ムービーが公開される

2023/07/26 18 users 室温 常圧 超電導状態 物質 プレプリントサーバー

韓国の研究チームが「室温かつ常圧での超電導」を実現したとする研究論文をプレプリントサーバーのarXivで公開しました。研究チームは超電導によって磁気浮上が発生する様子を撮影したムービーも公開しています。 The First Room-Temperature Ambient-Pressure Superconductor https://doi.org/10.48550/arXiv.2307.1200... 続きを読む

Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表

2023/06/22 179 users パラメーター phi-1 Microsoft LLM 発表

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット... 続きを読む

仮想の町に解き放たれた25人のAIエージェントはどう振る舞ったか

2023/04/16 117 users AIエージェント 仮想 ジェネレーティブ AIアバター 行動

仮想の町でAIアバターを観察した研究｢Generative Agents：Interactive Simulacra of Human Behavior（ジェネレーティブ・エージェント：人間の行動のインタラクティブな像）｣のスクリーンショット。 arXiv/Cornell University 研究者たちは、25人のAIアバターを仮想の町に放った。 アバターたちは、日々のスケジュールを... 続きを読む

arXiv、ChatGPTをはじめとした文章自動生成ツールに関する新たなポリシーを策定

2023/02/02 7 users chatgpt 策定 論文 著者 ツール

2023年1月31日、arXivが、ChatGPT等の文章自動生成ツールに関する新たなポリシーを策定したと発表しました。 ポリシーの中では、文章自動生成ツール等のツールの重大な利用についての報告を著者に求めること、論文の内容については著者が全面的に責任を負うこと、文章自動生成ツールは著者として記載されるべきではない... 続きを読む

1枚の画像をテキストだけで編集できるAIの「Imagic」がすごすぎる

2022/10/28 24 users プレプリントサーバー テキスト テキストプロンプト 手動 画像

テキストプロンプトで画像を編集できるAI技術がよく話題になっていますが、それらは編集タイプが限定されていたり、複数の画像の入力が必要だったりするものがほとんどです。しかし、2022年10月17日にプレプリントサーバーのarXivで発表された「Imagic」は、画像の修正箇所を手動で指示したり別の画像を入力したりしなく... 続きを読む

ニューラル場ってｎ？

2021/11/24 6 users TUM 前書き NVIDIA サーベイ論文 トロント大学

前書き：こんにちは、@yongyuanxiです。トロント大学とNVIDIAでPhD学生兼リサーチサイエンティストとしてニューラル場の研究をしています。今回はブラウン大学・MIT・グーグル・フェイスブック・TUM等の研究者達と共同で書いたニューラル場に関するサーベイ論文がArXivに出たので軽く日本語で紹介しようと思います。他に... 続きを読む

「数体の素元星座定理」に関するプレプリントについて - tsujimotterのノートブック

2021/01/02 27 users tsujimotter 論文 数学 プレプリント ノートブック

2021年 に入ってすぐに、とんでもないニュースが飛び込んできました。もちろん、数学のニュースです。 東北大学の研究チームによる論文のプレプリントがarXivで公開されました。タイトルは "Constellations in prime elements of number fields" で、こちらのリンクからアクセスできます： Constellations in prime elem... 続きを読む

arXiv、改訂されたPlan S準拠のための技術的な考慮事項を表明 | カレントアウェアネス・ポータル

2019/07/23 9 users カレントアウェアネス・ポータル カレントアウェアネス 表明

カレントアウェアネス・ポータルは、図書館界、図書館情報学に関する最新の情報をお知らせする、国立国会図書館のサイトです。 2019年7月18日、米・コーネル大学が運営するプレプリントサーバarXivのブログarXiv.orgに、2019年5月31日に改訂された「Plan S原則」、「Plan Sの実現にかかる手引き」に基づいて、Plan S準拠... 続きを読む

論文紹介: The Ramanujan Machine: Automatically Generated Conjectures on Fundamental Constants - うどん記

2019/07/07 18 users うどん記 論文紹介 定数 連分数 円周率

2019/06/30 に arXiv にアップロードされた論文である The Ramanujan Machine: Automatically Generated Conjectures on Fundamental Constants を読んだのでその概要をメモしようと思います。 概要 円周率 $\pi$ や自然対数の底 $e$ といった数学の定数を含む式は規則的な項を持つ連分数で表現できることが知られていま... 続きを読む

社会人博士進学を検討するなら論文読もう - yumulog | 社会人博士の日記

2019/04/28 54 users yumulog ResearchGate 論文 進学 普及

過去の記事 社会人博士に進学しようとしている人へ - yumulog | 社会人博士の日記 にも似たようなことは書いてるんですが。 社会人博士での進学を検討しているなら、入学前にとりあえず論文読むのを習慣づけるのがお薦めです。arXivやResearchGateやオープンアクセス誌の普及もあって無料で読むことができるものが増えて... 続きを読む

AlphaZeroに投了宣言しないといけないかも知れない - コンピュータ将棋 Qhapaq

2018/12/07 63 users AlphaZero elmo 投了 定跡 イケ

AlphaZeroの論文が出てきました。arxivに出してた論文はイケてなかったですが今回のはイケてます。 前回の論文に対しては今の御時世でWCSC27のelmoに勝ったぐらいで convincingly defeat defeated a world champion program とか言わないでよとか、投了の基準が900点なの意味がわからんとか、定跡はどうしたのかとか、棋... 続きを読む

脳同士をつないで意思疎通できる「BrainNet」　ワシントン大学など開発 - ITmedia NEWS

2018/10/01 273 users TMS BCI 脳波 デバイス 米カーネギーメロン大学

米ワシントン大学と米カーネギーメロン大学の研究チームは9月23日、3人の脳をデバイスでつなぎ、直接意思疎通できるようにする「BrainNet」を、論文投稿サイト「arXiv」に発表した。 BrainNetの構造。2人の送信者の脳波をコンピュータが受け取り（Brain-Computer Interface, BCI）、コンピュータが受信者の脳へTMSを介し... 続きを読む

CPUの脆弱性を突く新たな攻撃手法「SpectreRSB」 - CNET Japan

2018/07/25 20 users SPECTRE CPU 論文 PDF 攻撃手法

「Spectre」並みとされる新たな攻撃手法「SpectreRSB」が、研究者らによって明らかにされた。 カリフォルニア大学リバーサイド校のセキュリティ専門家チームは米国時間7月20日、「arXiv」に掲載された論文（PDF）でこの新しい攻撃手法に関する研究結果を発表した。 Spectreを悪用する攻撃手法は投機的実行を利用する。投... 続きを読む

Hyper Collocation — arXiv に基づいた論文英語コロケーションデータベース

2018/02/15 79 users 例文 スニペット コンピュータサイエンス フレーズ 抽出

arXivの英語論文から入力された英単語やフレーズを検索し，前後に頻出する単語を集計するとともに使用箇所のスニペットを列挙するサービスです．Hyper Collocation とは？ arXiv に収録されている 811,761報 の 英語論文 から，入力された英単語やフレーズを検索し，前後に頻出する単語の集計と使用箇所からの例文の抽出を行うサービスです．数学・物理・コンピュータサイエンスの分野を... 続きを読む

2017年のディープラーニング論文100選 - Qiita

2017/12/18 391 users Qiita 富士通 富士通グループ 正式参加 正確性

これは Fujitsu Advent Calendar 2017 の18日目の記事です。 掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました [リンク] 。なお、内容の正確性には注意を払っていますが、無保証です。 はじめに この記事では今年発表されたディープラーニング論文（ArXivでの発表時期、発表された... 続きを読む

文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)

2017/11/12 97 users SDV コーパス 精度 日本語コーパス 前置き

前置きというか概要 今年のEMNLP2017で提案されていたSCDV(Sparse Composite Document Vectors)について、日本語のコーパス( )で検証しました。 SCDVのモチベーション ( https://dheeraj7596.github.io/SDV/ ) いい感じのランディングページまで用意していてすげえなって思いました。論文は当然のようにarxivで公開されて... 続きを読む