インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場

2024/05/07 10 users ABI Mistral GitHub WebGPU 言語モデル

Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。 Secret Llama https://secretllama.com/ GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser wit... 続きを読む

1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog

2024/05/07 10 users GPU IIJ Engineers Blog 言語モデル

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます... 続きを読む

LLMをWebフレームワークにしたら、未来が見えた #2024

2024/05/05 88 users hanabi chatgpt API Webフレームワーク

最近、LLMにWeb Backendを書かせて遊ぶ、Hanabiというサービスを作っています。その開発過程で、前に試したLLMをAPIとして振る舞わせるアプローチを再検討したので、記事としてまとめました。 一年ちょっと前、私はChatGPTをWebフレームワークにしようと試みました...が、残念ながら全く実用的ではありませんでした。し... 続きを読む

大規模言語モデルを使って組織内の全データを検索する時にはどのような前処理を行うと効率的なのか？

2024/05/05 12 users 言語モデル 処理 組織内 全データ Rag

組織には構造化されたデータベースやきれいにフォーマットされたCSVのほか、何気なく書いたメールから複雑な技術マニュアルまでさまざまな形式のデータが大量に保存されています。検索拡張生成(RAG)は大規模言語モデル(LLM)を使用して全てのデータから適切な情報を引き出すための技術ですが、RAGを使用する際にデータの... 続きを読む

AIの新星ニューラルネットワーク「KAN」とは？　LLMが“カンニング”して評価を盛ってた？　など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge

2024/05/05 150 users seamless シームレス TechnoEdge ＫＡＮ

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第45回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 高精度なニューラ... 続きを読む

MicrosoftによるOpenAIへの巨額の投資は「GoogleのAI研究が進み過ぎている」という懸念がきっかけだったことが明らかに

2024/05/02 5 users OpenAI Microsoft 懸念 きっかけ AI研究

Microsoftは2019年にOpenAIに10億ドル(約1560億円)を投資。2020年9月にはOpenAIの大規模言語モデル(LLM)であるGPT-3の独占ライセンスをMicrosoftが取得。さらに2023年1月には、MicrosoftがOpenAIに数十億ドル(数千億円)規模の出資を行い長期的なパートナーシップを結びました。年々関係を深めるMicrosoftとOpenAIですが... 続きを読む

Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす

2024/05/01 19 users Docker Ollama ラズパイ ローカル環境 以下

ラズパイでLLM 普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。 ラズパイのセットアップ 以下でラズパイの基本的なセットアップをします。 Dockerをセットアップします。 Ollamaセットアップ 続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマ... 続きを読む

謎の生成AI「gpt2」登場で騒然　次世代のGPT？　アルトマンCEOも言及

2024/04/30 7 users GPT OpenAI chatgpt 言及 生成AI

生成AIブームの火付け役となった「ChatGPT」を提供する米OpenAIは、2023年3月に高性能な大規模言語モデル（LLM）「GPT-4」を提供して以来、次の高性能モデルについて沈黙を守り続けている。そんな中、LLMを比較できるWebサービス上にOpenAIのものらしき謎の高性能なLLMが現れた。同社のサム・アルトマンCEOも言及してお... 続きを読む

ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア

2024/04/27 19 users chatgpt AMP 演算 アンプ AIチップ

NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（... 続きを読む

Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog

2024/04/27 54 users 自動生成 Claude ＴＳＰ GPT Rag

178{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3... 続きを読む

無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場

2024/04/26 6 users コーディング 大規模言語モデル 商用利用 登場 無料

クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for... 続きを読む

DeepL、LLMを搭載した新サービス「DeepL Write Pro」を日本で提供開始

2024/04/25 10 users DeepL 提供開始 新サービス 日本

続きを読む

LEIA: 言語間転移学習でLLMを賢くする新しい方法

2024/04/24 18 users Studio Ousia 訓練 言語 理化学研究所 テキスト

Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い... 続きを読む

言語モデルを高位合成でFPGAに実装してみた

2024/04/24 10 users FPGA 高位合成 言語モデル 内山 TURING株式会社

言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視... 続きを読む

NEC、世界トップレベル性能の高速な大規模言語モデル (LLM) cotomi Pro / cotomi Light を開発

2024/04/24 11 users cotomi アーキテクチャ NEC 生成AI 業務変革

NECは、LLM(Large Language Model：大規模言語モデル)「cotomi(注1)」のラインアップ拡充のため、学習データやアーキテクチャを刷新した「cotomi Pro」「cotomi Light」を開発しました。 昨今の生成AIの急速な発展に伴い、様々な企業や公共機関が、LLMを活用した業務変革の検討・検証を進めています。具体的な活用シーン... 続きを読む

LangChainを用いた4種類のRAG質問応答chainの実装と性能比較

2024/04/24 5 users LangChain Chain 実装 api経由 性能比較

はじめに この記事で想定している読者の方: LangChainで簡単でもコードを書いたことがある人 LLM chainについてざっくりと理解している人 公開されているLLMをapi経由で用いて様々な処理を記述できるライブラリ 「LangChain」にて, 主に外部から文書を与える際に用いられる以下の4つのchainをご存知の方も多いと思います... 続きを読む

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

2024/04/24 146 users erukiti ローカルLLM Mac Studio メモリ

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十... 続きを読む

NEC、クラウド不要の生成AI提供　機密情報を社内で管理　【イブニングスクープ】 - 日本経済新聞

2024/04/23 16 users イブニングスクープ NEC クラウド 機密情報 日本経済新聞

NECは企業向けに新たな生成AI（人工知能）サービスを6月に始める。NEC製のサーバーとセットで提供することで、機密性の高いデータを社外に出さず、社内で運用を完結できるようにする。個人情報を扱う金融機関やコンタクトセンターなどの需要を見込む。生成AIの基盤となる新型の大規模言語モデル（LLM）「cotomi Light（... 続きを読む

「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術

2024/04/23 10 users GPT-4 文書 性能 tsuzumi 図表

「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術：NTTの「tsuzumi」にも採用 NTTは2024年4月12日、大規模言語モデル（LLM）の活用により、文書に含まれる図表やグラフなども含めて理解し、自然言語での指示に従って読解／応答する「視覚読解技術」を実現したと発表した。 NTTは2024年4月12日、大規模言語... 続きを読む

OpenAIのGPT-4はCVEのセキュリティ勧告を読むことで実際の脆弱性を悪用できることが明らかに

2024/04/22 14 users CVE OpenAI abs GPT-4 セキュリティ勧告

OpenAIが開発する大規模言語モデル(LLM)のGPT-4は、一般公開されている脆弱(ぜいじゃく)性を悪用してサイバー攻撃を成功させることが可能であることが最新の研究により明らかになりました。 [2404.08144] LLM Agents can Autonomously Exploit One-day Vulnerabilities https://arxiv.org/abs/2404.08144 GPT-4 can expl... 続きを読む

東工大スパコン「TSUBAME4.0」稼働開始！Webブラウザから利用可、創薬からLLMまで幅広く活用

2024/04/19 14 users 創薬 稼働開始 Webブラウザ 活用 利用可

続きを読む

もし「GitHub Copilot」を現役弁護士が使ったら？ - MNTSQ Techブログ

2024/04/19 141 users GitHub Copilot MNTSQ Techブログ

こんにちは。GitHub Copilotを先日初めて触って、感銘を受けたMNTSQ代表の板谷です。MNTSQの代表をしておりますが、現役の弁護士でもあります。 なぜ私が、GitHub Copilotに感銘を受けたかというと、「プログラミングの LLM による進化」は、契約という言語をコーディングするためにもドンピシャで使えそうだと感じたか... 続きを読む

Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に

2024/04/19 29 users Meta Kaggle Snowflake クラウド 商用可

米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。... 続きを読む

1BitLLMの実力を見る｜shi3z

2024/04/17 17 users shi3z 実力 HuggingFace 一読 1bit

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、こ... 続きを読む

生成AIでGPUがいらなくなる？　業界を揺るがす「1ビットLLM」とは何か、識者に聞いた

2024/04/16 41 users 識者 GPU 1ビットLLM 生成AI 業界

ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサ... 続きを読む