DuckDB で JSON Lines 形式のログを精査する

2024/10/15 63 users Parquet DuckDB ログファイル ロク 形式

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧... 続きを読む

Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に | gihyo.jp

2024/07/04 54 users Rag GraphRAG LLM gihyo.jp 拡張

Microsoft⁠⁠、RAGの機能を拡張⁠⁠、強化させたGraphRAGを一般利用可能に Microsoftは2024年7月2日、LLMが生成する出力の精度を向上させるために利用するRAG（検索拡張生成）の機能を拡張/強化した「GraphRAG」をGitHub上で公開した。 GraphRAG: New tool for complex data discovery now on GitHub -Microsoft Research B... 続きを読む

GPT-4o の概要｜npaka

2024/05/13 237 users npaka Omni GPT-4o 対話 コンピュータ

以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわず... 続きを読む

日本最大のメガソーラーは建築確認なしで買取価格40円の無法地帯

2024/04/16 110 users 無法地帯 宇久島 総工費 民主党政権 適用除外

長崎県の宇久島で計画されている日本最大のメガソーラーが、5月にも着工する。出力は48万kWで、総工費は2000億円。パネル数は152万枚で280ヘクタール。東京ディズニーランドの5倍以上の巨大な建築物が、県の建築確認なしで建設される。民主党政権が太陽光発電を建築基準法の適用除外にしたからだ。 2012年度の買取価格40... 続きを読む

AIを操る「プロンプトエンジニア」がAIによって駆逐されつつある

2024/03/08 165 users プロンプトエンジニア プロンプト エンジニア 命令文 行為

「プロンプトエンジニアリング」は、意図した通りの出力を得るためにAIへの命令文であるプロンプトを調整する行為です。これまで、プロンプトエンジニアリングは人間のエンジニアによって行われてきましたが、プロンプトの作成自体にもAIを使用した方がパフォーマンスが向上するという研究結果が発表されました。 [2402.... 続きを読む

イラストの依頼でAIイラストを出されて「こんな感じで描いてくれ」と

2024/01/14 207 users AIイラスト イラスト イラストレーター 依頼 テイスト

イラストレーターなんだが、客にAIイラストを出されて「こんなテイストでお願いします」と言われた。 仮にもプロのイラストレーターに対して、AIイラストの真似をしろと？ ブチ切れたんだが、反論してきやがった。 そもそもAIイラスト技術というのは、膨大なデータベースからAIが学習をして、命令に沿ったイラストを出力... 続きを読む

理想のフロントエンドテストをたずねて三千里 - カミナシ エンジニアブログ

2023/12/11 107 users カミナシ 田村 フロントエンド 永続化 フロント

こんにちは。カミナシにて業務委託としてフロントエンドを担当している田村(@junkboy0315)です。皆さんはフロントエンドのテスト、どのように取り組んでいますか？フロントのテストはなかなか難しいですよね。 バックエンドのテストには、「入力、出力、永続化されたデータ」の3つを検証するという基本セオリーがありま... 続きを読む

【GPTs×業務活用】職場で神扱いされるGPTsを使った業務効率化・自動化方法10選 | WEEL

2023/12/10 413 users chatgpt WEEL GPTs 大竹 職場

メディア事業部AIライターの大竹です。 2023年11月に登場したChatGPTのGPTs機能の導入は、ChatGPTアップデートの中でも特に大きな印象をユーザーに与え話題となりました GPTsとは、自分好みに調整したChatGPTを作成できる機能。以前までは、毎回プロンプトを入力して出力の方向性を指示していましたが、GPTsを活用すれば... 続きを読む

「自分を信じて限界を超えてください」とプロンプトに添えるとAIの出力が精度向上すると明らかになった話…界隈では「松岡修造メソッド」として知られていた

2023/11/03 156 users プロンプト AIDB 界隈 くだ 精度

AIDB @ai_database AIDBは論文ベースで研究にキャッチアップできるメディアです■新着論文サマリー・デイリーニュースレター：ai-data-base.com/arxiv-paper-da… ■深掘り解説記事：ai-data-base.com/premium ai-data-base.com AIDB @ai_database 「自分を信じて限界を超えてください」「成長の機会だと捉えて挑戦してくだ... 続きを読む

console.log() の代わりにdevtoolsのLogpointsを使う - Qiita

2023/10/24 150 users Qiita DevTools コンソール 特定 処理

Logpointsを使おう Webフロントエンドの開発をする際、デバッグ目的で「特定の処理が実行された」ということを確認するために console.log() を使うことは多いと思います。しかし、Google Chrome や Microsoft Edge で利用可能な Logpoints を利用することで、 console.log() を使わずともコンソールにメッセージを出力... 続きを読む

「原付免許は125ccまで」｜警察庁が検討｜ようやくと動き出す国内の原付改革

2023/09/11 307 users 警察庁 原付免許 検討 125cc 馬力

原付（原動機付自転車）免許で乗車できるバイクの排気量は、現況50cc以下に規定。今回警察庁が発表したのは、これを125cc以下（運転は普通二輪小型限定免許以上が必要）まで引き上げよう（ただし最高出力は4kW[5.4ps（馬力）]までに抑制）という提案。 今後の予定としては、2023年9月11日に第1回検討会を開催。車両の走... 続きを読む

LLMのファインチューニング で 何ができて 何ができないのか｜npaka

2023/08/28 134 users ファインチューニング LLM OpenAI npaka 特定

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファイン... 続きを読む

漫画の描き方がわからない - orangestar2

2023/08/14 228 users orangestar2 漫画 描き方 Twitter バス

最近頑張ってTwitterで漫画を描いてアップしてる。 自分が錆びついてるのが分かるので、それをもう一度研ぎ澄ますために。 ……なんだけど全然わからない。バズらせたいんだけどバズらせる漫画の描き方がわからない。 時代が変わって自分のセンスが古くなったという実感がある。アンテナをもう一度立てて出力も入力も揚げ... 続きを読む

反AIだけど「AIは絵筆と同じ、ただの道具」勢に聞きたいことがある

2023/07/07 161 users 絵筆 pc.watch entry 既存 スタンプ

https://b.hatena.ne.jp/entry/s/pc.watch.impress.co.jp/docs/news/1506018.html AI擁護派は「AIは絵筆と同じで、人の手書き絵と同じように出力の類似性と依拠性だけで判断する」で納得して満足してるらしいけど たとえばこれが絵筆じゃなくてスタンプだったらどうだ？ 買ってきたスタンプをぽんと一度おしたら既存の絵... 続きを読む

【性能比較】日本語対応したBard(バード)とGPT-4の出力を比較してみた - Qiita

2023/05/12 58 users Bard Qiita GPT-4 ハード 性能比較

以下の要件に沿う、AWS Lambdaで利用できるコードを生成してください。 ## 要件 - Python 3.10で記載すること - 指定のS3バケットに格納されたファイル一覧と合計ファイルサイズを、Slackの特定のチャンネルに通知する - 前日の0:00から23:59までに格納されたものを、当日08:00に通知する import boto3 import datetime ... 続きを読む

ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita

2023/05/08 335 users Qiita chatgpt プロンプト GPT-4 一撃

今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の ... 続きを読む

ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法 - Qiita

2023/04/30 104 users Qiita LINEbot chatgpt GAS 発言内容

ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法： この記事ではchatGPTを使ったLINEbotを作成する際に、出力を安定してJSON形式で得る方法を解説します。具体的には、gpt-3.5-turbo APIとGoogle Apps Script (GAS)を使ったLINEbotを想定しています。仮想人格の発言内容と内部パラメータ（感情パラメータ... 続きを読む

OpenAI APIのファインチューニングの学習データのガイドライン｜npaka｜note

2023/04/16 188 users ファインチューニング プロンプト 書式 Note ガイドライン

以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の... 続きを読む

画像付きのRPGを遊べるプロンプトを作ったら臨場感が溢れすぎた話｜ちゅーりん｜note

2023/03/28 583 users プロンプト chatgpt 臨場感 Note RPG

「ChatGPTで画像も出力できたらいいのにな…」 という問題が解決しました！　さっそくですが、以下のプロンプトを「GPT4」に貼ればゲームを開始できます。 １，中世ヨーロッパの物語 GPT-4 AI ゲームマスターとして、あなたはプレイヤーが魔法使いに協力して彼女と共に危機に見舞われた王国を救う冒険をするため、「交換... 続きを読む

【ChatGPT】海外でバズったヤバい使い方10選【2023年3月版】 | 株式会社SaaSis

2023/03/24 1108 users chatgpt バス 株式会社SaaSis ツール 作成手順

ChatGPTでインテリアデザインを出力 この記事では、高品質なインテリアデザインを出力させる方法が紹介されています。 使うツールはMidjourneyとChatGPTの2つ。作成手順も詳しく説明されているのでお試しあれ。 ok, I got ChatGPT working with Additive Prompting Here's a 1 paragraph ChatGPT prompt you can use to ... 続きを読む

ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita

2023/03/08 309 users Qiita chatgpt gyakuse 逆瀬川 命令

こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃... 続きを読む

ChatGPT APIを使って出力を得る方法

2023/03/06 76 users ChatGPT API TypeScript サンフ 方法

プロンプトエンジニアリングの記事です。 ChatGPTなどGPT-3.5系である程度安定して出力を得るためのノウハウができたので書きました。土日に別の実験をしていて副産物的に得られたものです。 サンプルコードはTypeScriptですが、プログラミング言語に依存した話ではありません。簡単な正規表現による文字列置換のサンプ... 続きを読む

ChatGPTの面白い使い方「テンプレート・固有表現抽出・感情分析・エッセイを書かせる」 - しろっこブログ

2023/02/23 201 users chatgpt 君が代 国歌 エッセイ 目次

目次 ChatGPTの面白い使い方 この書き出しはChatGPTに書いてもらった。 テンプレートで出力フォーマットが指定できる アメリカ合衆国の大統領リスト 大統領リストの出力 固有表現を抽出させる 固有表現とは 固有表現抽出 ChatGPTの回答 ChatGPTは感情分析が出来る アメリカ国家の歌詞を感情分析して 日本の国歌「君が代... 続きを読む

”AIコスプレイヤー”というAI作画をリアル路線にし写真みたいな出力の画像に対する諸々の反応

2023/02/18 357 users 諸々 AI作画 あれこれ 危惧 AIコスプレイヤー

ガレソ起因でまとめ作るのは癪なんですが… 「淘汰されそう」と具体的に発言した人は見つかりませんでしたが、諸々の反応を残しておきたかったので少し長いですがまとめ。 本文構成上後ろに回してしまってますが本題的には、後半の”AIコスプレイヤー”に対する危惧についてのアレコレの方が見といてもらいたいモノかなとは... 続きを読む

ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 | 謎の技術研究部

2023/02/15 429 users ControlNet Stable Diffusion

ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 AIイラストはPromptだけだと思い通りのポーズが出せない。そこで既存の線画やポーズから出力をコントロールする手法がControlNet。できるだけ細かいところまで設定を見ていく。 はじめに この記事はStable DiffusionのExtens... 続きを読む