LLMを悩ませる"Excel文書"をうまく扱う方法

2024/12/08 97 users LLM Rag シロクマ チャットボット Excel文書

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテ... 続きを読む

Zod を使って OpenAI の構造化された出力を扱う

2024/12/07 23 users OpenAI Zod スキーマ JSON Schema 出力

Zod を使って OpenAI の構造化された出力を扱う 2024.12.07 OpenAI の gpt-4o-2024-08-06 以降のモデルではパラメータとして JSON Schema を指定することで構造化された出力をサポートしています。Node.js 向けの OpenAI SDK では Zod を使ってスキーマを定義し、構造化された出力を扱うことができます。この記事では実... 続きを読む

開発生産性の現在地を開発生産性の歴史と開発生産性Conference2024から振り返る - Tabelog Tech Blog

2024/10/31 11 users Tabelog Tech Blog 歴史 目次 開発生産性

目次 目次 はじめに 開発生産性の歴史 工業製品のコスト管理 (1950~1970年代) 工業製品とサービス業の収益増加 (1980~2000年代) ITサービスの開発生産性 (2010年代~) 2024年現在の開発生産性 開発生産性の経営視点での構造化 B-1 プロセス改善 B-2 ソフトウェア化 B-3 技術的負債 B-4 開発者体験 2024年時点での開発生産... 続きを読む

「Google ドキュメント」に文書を複数の“タブ”に分割して作成する機能が追加／長い文書を分割、構造化して整理することで、より編集しやすく読みやすいドキュメントに

2024/10/09 21 users タブ ドキュメント 文書 分割 長い文書

続きを読む

OpenAIがJSON出力の際に100％の精度で特定のスキーマに従わせる機能をリリース

2024/08/07 20 users OpenAI スキーマ index JSON出力 API

AIにデータを構造化させる際に、指定したスキーマに確実に従わせることが可能なモードをOpenAIがリリースしました。 Introducing Structured Outputs in the API | OpenAI https://openai.com/index/introducing-structured-outputs-in-the-api/ 構造化されていないデータを読み取り、構造化されたデータを出力するのはA... 続きを読む

AOAI Dev Day LLMシステム開発 Tips集

2024/07/25 10 users TIPS集 プロンプト Azure OpenAI 部品 共有

Azure OpenAI Dev Dayにおいて発表したLLMシステム開発のTips集です。 ◆Prompting System Prompt は構造化・再利用を考慮せよ Prompt Store を作って複数のエージェントでプロンプトの部品を共有 Lost in the Middle… 続きを読む

自家中毒に陥る生成AI（八田真行） - エキスパート - Yahoo!ニュース

2024/05/17 26 users エキスパート 生成AI 八田真行 Yahoo reddit

生成AIとメディア企業の連携ChatGPT等で知られるOpenAIが、世界最大の掲示板サイトであるRedditとの連携を発表した（gihyo.jpの記事）。アナウンスには「OpenAIはRedditのデータAPIにアクセスし、Redditからリアルタイムで構造化されたユニークなコンテンツを獲得します」とあるので、Redditへの投稿を大々的に学習対象... 続きを読む

大規模言語モデルを使って組織内の全データを検索する時にはどのような前処理を行うと効率的なのか？

2024/05/05 12 users 言語モデル 処理 組織内 全データ LLM

組織には構造化されたデータベースやきれいにフォーマットされたCSVのほか、何気なく書いたメールから複雑な技術マニュアルまでさまざまな形式のデータが大量に保存されています。検索拡張生成(RAG)は大規模言語モデル(LLM)を使用して全てのデータから適切な情報を引き出すための技術ですが、RAGを使用する際にデータの... 続きを読む

なぜ、エンジニアの"フロー状態"は見落とされるのか？ 継続的なフロー状態が開発生産性を高める

2024/02/22 8 users エンジニア フロー状態 開発生産性 メトリクス レイヤー

前回は「開発生産性」という言葉の広さから、きちんと組織のレイヤーを構造化しながら用語を分けてオーバーラップする部分を繋げていきましょうという話を紹介しました。第2回となる今回は、開発チームに焦点を当てていきます。ソフトウェア開発の現場では、Four Keysを中心とした「開発生産性のメトリクスはどうあるべ... 続きを読む

オーウェル『1984年』序文からわかる、ピンチョンのつまらなさとアナクロ性 - 山形浩生の「経済のトリセツ」

2023/11/13 262 users ピンチョン 脈絡 オーウェル 補遺 序文

Executive Summary トマス・ピンチョンのオーウェル『1984年』序文は、まったく構造化されず、思いつきを羅列しただけ。何の脈絡も論理の筋もない。しかもその思いつきもつまらないものばかり。唯一見るべきは、「補遺；ニュースピークの原理」が過去形で書かれていることにこめられた希望だけ。だが、考えて見れば、ピ... 続きを読む

タスク指向のデザインはなぜ生まれるのか？

2023/09/23 115 users オブジェクト指向 オブジェクト デザイナー 手順 デザイン

『タスク偏重のデザインはなぜ生まれるのか？』の続きです。 簡単だから 画面を見て悩むデザイナーが「全体はよくわからないから別にしてこの中だけ作るか」と言いながらボタンの先に画面を連ねようとしている オブジェクト指向のUIにするには手順を解体し、オブジェクトを中心に構造化する必要があります。重複している... 続きを読む

AIで入力した文章から人物や固有名詞間のつながりをナレッジグラフ化してくれる「GraphGPT」が登場

2023/02/09 10 users grap OpenAI GraphGPT gpt-3 グラフ

スタンフォード大学の研究者であるVarun Shenoy氏が、入力した文章に含まれる人物や固有名詞間のつながりをナレッジグラフ化するAI「GraphGPT」を開発しました。GraphGPTはOpenAIが開発した自然言語処理モデルのGPT-3を使用しており、構造化されていない自然言語をグラフに変換するとのことです。 GraphGPT https://grap... 続きを読む

Google re:Work - ガイド: 構造化面接を実施する

2023/01/03 225 users 職務 パフォーマンス work 面接手法 面接

構造化された面接とは、簡単に言えば、同じ職務に応募している応募者に同じ面接手法を使って評価するということです。構造化面接を行うと、応募した職務自体が構造化されていない場合でも、応募者のパフォーマンスを予測できるという調査結果があります。Google では構造化面接を採用しています。つまり、すべての応募者... 続きを読む

はてなブログに見出しにid属性付けてくれって言ったらつけてもらえた - Lambdaカクテル

2022/08/19 12 users Lambdaカクテル あらまし 見出し ゆえ ID属性

うれしすぎるンゴ〜〜〜 あらまし 自分は技術記事をよく書いているのだけれど、そういう記事は基本的に構造化して書くから、必然的に見出しの量も多くなる。そして、構造化されているがゆえに、「この節の部分にリンクしたい」ということがあるものである。 そして、hタグにはid属性を付与することができ、それを使うと... 続きを読む

議事録を簡単に構造化(っぽく)する方法｜とあるコンサルタント｜note

2022/07/08 634 users Note 議事録 通過儀礼 コンサルタント 新人

はじめに議事録、取ってるぅ？ そろそろ新人は現場に配属され始めた頃だろうか。 「議事録取っといてよ」とか軽く言われて頑張って作ったら、赤字まみれに添削されるのが通過儀礼。 だいたい新人が最初に任される仕事だと思う。 ところが、議事録を真っ当に取ろうとすると日本語能力、プロジェクトへの理解、構造化力と... 続きを読む

仕事ができる人は知っている…｢よろしくお願いします｣より効果的なメールの締めのフレーズ 淡泊と"感じのよさ"は両立できる (3ページ目)

2022/02/10 7 users 要件 フレーズ やりとり 簡素化 明確化

「淡泊なメール」の文例 3つのポイントを実際どのように運用するか、どこまで簡素化するかは、「相手との関係性」や「内容の複雑性（≒情報量）」で変わってきます。 例えば、初めてコミュニケーションする人と、やや複雑な内容のメールのやりとりをする場合には、②の構造化と③の要件の明確化が重要になってきます。 図表... 続きを読む

Takramは、Notionで「知」を構造化する。学びの点と点をつなぐ、Notion活用法 | キャリアハック

2021/09/08 162 users Notion Takram イノベーション 思想 組織

「Notionで、知の構造化を進めています」こう語ってくれたのは、デザイン・イノベーション・ファームTakramで働く野見山真人さん。プロジェクト単位や個々人に閉じてしまいがちな「学び」の点をつなぎ、「組織の知」として昇華しているという。Notionの使い方に宿る、Takramの思想とはー。 【プロフィール】Takram 野見... 続きを読む

HTMLとは？CSSとの違いや代表的なタグも紹介 ｜ IT・エンジニア派遣のModis

2021/06/17 10 users 見出し 文書 本文 言語 HTMLタグ

HTML（HyperText Markup Language）はWebページを作成するための言語で、主にページ内の情報を構造化し、見出し、本文、サイドバーなどを明確化する目的で使用します。HTMLタグで必要な文書を挟み込むだけで使えるため、Web開発に携わる人の多くが、最初に学習する言語でもあります。 今回はこのHTMLについて、一体どう... 続きを読む

システム携わっとってサイバーキルチェーン知らん人とかおるん？ - Qiita

2020/07/23 11 users 備忘 Qiita 主流 サイバー攻撃 段階

サイバーキルチェーンは必須知識 サイバー攻撃の段階を構造化したサイバーキルチェーンについて、備忘も兼ねて今更ながらまとめてみました。 今更ながらと言ったのは、2020年現在、サイバーキルチェーンの次に来ると言われていて、攻撃者の行動を戦術単位で構造化した「ATT&CK」が主流となりつつあるためです。 ちなみに... 続きを読む

BERTによるニュース記事の構造化：企業名抽出 - Stockmark Tech Blog

2020/07/15 16 users Bert Stockmark Tech Blog

はじめにMachine Learning部門の近江です。ストックマークでは、自然言語処理技術の研究開発を行っています。 先日、弊社のTech Blogにて弊社が公開している言語モデルを紹介しました。 ストックマークが公開した言語モデルの一覧と振り返り 今回は、言語モデルがプロダクトにおいて実際にどのように利用されているかに... 続きを読む

ブートストラッピング法による情報抽出の論文まとめ - ヤドカリラボ

2020/05/25 30 users タスク 論文 テキスト 国際学会 情報抽出

はじめに 自然言語処理におけるタスクの一つとして、構造化されていないテキストから情報や知識を自動または半自動で取り出すことを情報抽出といいます。 最近では深層学習系の論文が国際学会ではメジャーですが、訓練・ベンチマークに用いているデータセットのレコード数が膨大であり、また高価なGPU環境が言語モデルの... 続きを読む

Webで縦書きなどを実現する「CSS Writing Modes Level 3」、ついにW3Cの「勧告」に － Publickey

2019/12/10 210 users Publickey 縦書き CSS 勧告 文書

Webで縦書きなどを実現する「CSS Writing Modes Level 3」、ついにW3Cの「勧告」に HTMLで構造化された文書に対してスタイルを与える「Cascading Style Sheet」（CSS）は「CSS 2」から、directionプロパティでテキストの表示方向を左から右か、右から左かを指定可能でした。 今回勧告になった「CSS Writing Modes Level ... 続きを読む

UI改善のためにエンジニアに仕様を構造化してもらったら再設計がめちゃくちゃ捗った話｜鈴木 健一 / PLAID & STANDARD｜note

2019/12/08 288 users Plaid ブレイド 健一 たたき 旧来

この記事はPLAID Advent Calendar 9日目の記事ですUI改善の前提理解、うまくできていますか？皆さんはこれまで着手してこなかった既存画面のデザイン改善をする時、どのように進めているでしょうか。 自分がプレイドで所属しているreBAISUというチームでは、タタキとして定義したスタイルガイドを旧来の画面に適用しなが... 続きを読む

どの構造化データをWebサイトのどこに入れるのがいい？ 5つの設計手順で大規模サイトでもOK！ | Moz - SEOとインバウンドマーケティングの実践情報 | Web担当者Forum

2019/11/10 34 users moz CTR リッチスニペット SEO 筆者

筆者の見解はすべて筆者自身のものであり（ありそうもないことだが、筆者が催眠状態にある場合を除く）、Mozの見解を反映しているとは限らない。 グーグルの検索結果ページでリッチスニペットとして表示されればCTRが上がりトラフィックが増えるだろう。ではサイトに構造化データを付けていこう！ でも、どんな構造化デ... 続きを読む

UIデザイナーから学ぶ！今までのカラーシステムと一貫性を保ちつつ、ダークモードに対応する方法を解説 | コリス

2019/10/01 147 users 領域 デザイナー 要件 両方 新しい配色

デザイナーに、構造化が求められる要件がここ数年で急増しています。また、スマホやデスクトップの両方のOSにダークモードが導入されたことで、新たなデザインの領域を増やす必要もあります。 今までのカラーシステムと一貫性を保ちつつ、ダークモードの新しい配色を簡単に適用できるようにするカラーシステムを作成する... 続きを読む