0.5BパラメータのLLMを一から作ろうとして心が折れかけた話

2024/10/15 15 users LLM Transformer ローカルLLM スクラッチ

この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることにしました。 というのも、この約2年、新しいモデルが発表されなかった月はないほど目まぐるしく変化していくローカルLLMを追っていく中で、楽しさもある反面、よく分からないブラックボックスとして扱い続けるという... 続きを読む

「保険証廃止」一体誰がどう決めたのか　「記録はない」と判明…首相報告や閣僚間のやりとり　経緯は闇の中へ：東京新聞 TOKYO Web

2024/09/24 295 users 閣僚間 やりとり 経緯 現行 廃止

現行の健康保険証の廃止がどのように決まったのか、その決定経緯が分かる記録を政府が残していなかったことが、東京新聞の情報公開請求や関係者への取材で分かった。 事実上のマイナンバーカード取得義務化にも等しい大きな政策転換だったにもかかわらず、政府内でどのような議論があったのかブラックボックスになってい... 続きを読む

内訳はブラックボックス　それってドンブリ勘定では？　国のシステム経費　8月末からデジタル庁が公表へ：東京新聞 TOKYO Web

2024/08/13 116 users マイナポータル どんぶり勘定 配分 重複 デジ庁

システム経費は、22年度予算からデジタル庁に一括計上されてきた。同庁から各府省庁への配分を経て執行される仕組みで、同庁がまとめ役となることで各府省庁間でのシステムの重複を省き、効率化するのが狙い。24年度当初予算では4803億円で、うち「デジ庁」分がマイナポータルの利便性向上などに充てる1193億円、デジ庁... 続きを読む

伊藤詩織さん「社会の中にあるブラックボックスに司法で問いかけた」　6年半の四つの裁判の報告会　 | AERA dot. (アエラドット)

2024/07/10 9 users ジャーナリスト アエラドット 司法 AERA dot. 裁判

報告会で発言する、ジャーナリストの伊藤詩織さん（撮影／編集部・野村昌二） この記事の写真をすべて見る 「本当に長かったな……」 【写真】9日夜、都内で開いた報告会で語る伊藤詩織さん ジャーナリストの伊藤詩織さん（35）は9日夜、都内で開いた報告会で、約6年半にわたる自身の裁判の記録を聞いた後、かみしめるよう... 続きを読む

「ブラックボックス」を正すと語っていた小池知事…プロジェクションマッピングの開示は「ほぼ黒塗り」 | FRIDAYデジタル

2024/06/24 181 users プロジェクションマッピング FRIDAYデジタル 小池知事

ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標 (登録番号 第6091713号) です。 ABJマークについて、詳しくはこちらを御覧ください。https://aebs.or.jp/ 続きを読む

「ブラックボックス」を正すと語っていた小池知事…プロジェクションマッピングの開示は「ほぼ黒塗り」（FRIDAY） - Yahoo!ニュース

2024/06/24 15 users プロジェクションマッピング Friday 小池知事 開示

「申請した人も認可した人も、入札の責任者も全部同一人物。そんな不思議なことってありますか。まったく入札の体をなしていないですよね」 【画像】ほぼ「非開示」！？　開示された「電通ライブのプレゼン資料」を入手…！ これは、東京都が２年間で約48億円をかけて行っている東京都プロジェクションマッピング事業の入... 続きを読む

「ブラックボックス」が残る自民「再修正案」に公明・維新賛成へ　政治資金規正法改正　これで首相は胸を張る：東京新聞 TOKYO Web

2024/06/01 13 users 自民 首相 政治資金規正法改正 付則 再修正案

自民党は31日、派閥の裏金事件を受けた政治資金規正法改正の再修正案を各党に示した。公明党や日本維新の会に譲歩し、政治資金パーティー券購入者の公開基準を「5万円超」にするほか、党が議員に支給する政策活動費の領収書を10年後に公開すると付則に盛り込んだ。透明化は不十分で、立憲民主党などが要求する企業・団体... 続きを読む

AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説

2024/05/22 12 users Claude LLM Research Anthropic

チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大... 続きを読む

例外規定が生む“ブラックボックス”　政策活動費は「合法的な裏金」 | 毎日新聞

2024/05/02 13 users 裏金 抜け穴 有権者 論点 毎日新聞

自民党の政治資金パーティー裏金事件をきっかけに、国会で政治資金規正法の改正に向けた審議が始まりました。法律の抜け穴を塞ぎ、有権者が政治活動をチェックできるようになるのでしょうか。論点ごとにQ＆A形式で記者が解説します。第2回は「政策活動費」です。 政治資金規正法改正の論点を、Q&A形式で全3回に渡って解... 続きを読む

米OpenAI「公表しないで……」　ブラックボックスであるLLMの中身を“盗む”攻撃　米Googleらが発表

2024/03/13 185 users LLM 米OpenAI 中身 攻撃 発表

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Prod... 続きを読む

フライトレコーダー開発者の棺桶に貼られた注意書き『開けるな！』関係者ならくすっと笑えるジョークが秀逸

2023/12/31 17 users 棺桶 ジョーク 注意書き フライトレコーダー RawheaD

Dr. RawheaD @RawheaD USBの発明者が死んだ時は、葬式で棺桶を地中に一度降ろしてからまた引き上げて、180度回転してまた地中に降ろす、というアメリカンジョークが大好き。 2023-12-29 13:59:00 あわじまさき@C103日曜東シ18a @hijmsawaji 航空機のフライトレコーダー(いわゆるブラックボックス)には「フライトレコーダ... 続きを読む

あなたの背後の「公安警察」　大川原化工機事件を機に「統制」議論を：朝日新聞デジタル

2023/12/25 26 users 背後 公安警察 大川原化工機事件 議論 検察

生物兵器に転用可能な機器を無許可で輸出したとして警視庁が逮捕したものの、初公判直前に検察が起訴を取り消すという異例の経過をたどった「大川原化工機事件」。同社の社長らが国と東京都を訴えた損害賠償訴訟の判決が12月27日、東京地裁で言い渡される。 この事件は、ブラックボックスだった公安警察のあり方を問う格... 続きを読む

「あなたの夫は無職なので」　遺族を奈落に突き落とした命の値段 | 毎日新聞

2023/12/16 69 users 不慮 奈落 遺族 算定根拠 毎日新聞

不慮の死を遂げた人の遺族らに給付金を支給する国の「犯罪被害給付制度」。その算定方法に疑問が出ている。被害者が無職だと金額が低くなるためだ。国も制度見直しを決めたが、具体像はまだ見えない。 算定根拠は「ブラックボックス」 「残された子どもの将来を考えると不十分」。17日で2年を迎える大阪・北新地の心療内... 続きを読む

CPUの創りかた|Tech Book Zone Manatee

2023/08/01 12 users CPU アキバ タメ 読み物 中核

Manatee7周年カウントダウンセール開催中！ 400タイトルが最大50%OFF！！ IC10個のお手軽CPU設計入門！ コンピューターの中核であるCPUという名のブラックボックス。その動作の「超」基本原理から設計までを4bitCPUを例に解説。アキバで手に入る部品だけで実際の制作も可能！実際に作らない人も読み物としてもタメになる... 続きを読む

鈴木エイト氏に「報道の自由賞」 日本外国特派員協会

2023/07/23 356 users 鈴木エイト氏 報道 日本外国特派員協会 授与 ジャーナリスト

この男がいなかったら、日本というブラックボックスは永遠に闇の中だった。 ジャーナリストの鈴木エイトが、きょう21日、日本外国特派員協会の「報道の自由賞」を受賞した。 権力に不都合な案件でも記者会見を開く特派員協会だからこその授与である。この日はジャニーズの性加害を追及した『週刊文春』も受賞した。 昨年... 続きを読む

ブラックボックスになりがちな開発チームの内部状況を指標を用いて可視化する｜mtx2s

2023/07/11 215 users 指標 各々 主観 mtx2s パフォーマンス

自社ソフトウェアプロダクトを内製する組織であっても、開発チームがそれをどうやって作り上げているか、開発者ら以外にとってはブラックボックスであり、不可視です。それだけに、開発チームのパフォーマンスや内部状況の良し悪しは、各々の主観や興味によって、不統一な認識を持ってしまうことも多いでしょう。そして... 続きを読む

OpenAIが「言語モデルに言語モデルを説明」させるデモンストレーションツールを公開

2023/05/10 10 users OpenAI LLM chatgpt 言語モデル 拍車

ChatGPTのような大規模言語モデル(LLM)は、動作の仕組みが分かりにくいことから「ブラックボックス」と呼ばれることが多く、AIの危険性や予測の困難さを唱える議論に拍車をかけています。LLMの理解を進めるため、OpenAIがLLMを用いてLLMの機能を解明するツールを公開しました。 Language models can explain neurons in ... 続きを読む

ツイッター、投稿表示のアルゴリズムを公開　マスク氏の「公約」実現：朝日新聞デジタル

2023/04/01 14 users 公約 アルゴリズム しくみ 人工知能 順番

米ツイッターは3月31日、利用者ごとに表示される投稿の順番を決める人工知能（AI）のアルゴリズム（計算手順）を公開した。起業家イーロン・マスク氏が同社の買収時に掲げた、透明性向上のための「公約」を実現した形だ。 「おすすめの投稿が出されるしくみがブラックボックスの状態で、なぜそのSNSが信用できるのか。我... 続きを読む

「亡き妻の写真」をAIで生成していることへのご意見について回答します（CloseBox） | テクノエッジ TechnoEdge

2023/01/06 647 users 筆者 精神 成果物 CloseBox TechnoEdge

ご意見：この写真はAIの成果物で、そこを忘れないようにしないと ご意見：筆者の精神がおかしくなっていそう 忘れていないので、こうして記事にしているわけです。ただ、これをブラックボックスとして出してしまうと、信じてしまう人が出てくるかもしれません。そういう意味でもこういうことが技術的に可能であることを... 続きを読む

決済チームがテストコードを書く際に気を付けていること - UPSIDER　Techblog

2022/09/15 222 users UPSIDER　Techblog テストコード エンジニア

こんにちは。決済チームでエンジニアとして働いている芦川です。 UPSIDER Tech blog 第2弾として「決済チームがテストコードを書く際に気をつけていること」を紹介しようと思います。 TL;DR 100％のテストカバレッジを目指す テストはブラックボックスを優先して記述、どうしても到達できない場合はホワイトボックス 最... 続きを読む

新車に義務化「EDR」全然活用されてない？ 事故の証拠データが“宝の持ち腐れ” 国交相も危惧 | 乗りものニュース

2022/09/06 10 users EDR 危惧 国交相 国交省 新車

新型車への装着が義務化された「EDR」という装置を知っているでしょうか。航空機のブラックボックスのようなものですが、実際の事故への活用が進んでいないことが判明。このままでは、ユーザーはコストを負担しているだけともいえます。 車両安全対策に役立つ、という国交省 自動車のEDR（イベント・データ・レコーダー... 続きを読む

東京五輪組織委という「ブラックボックス」　不明瞭なカネ生む土壌 | 毎日新聞

2022/08/17 14 users カネ 毎日新聞 土壌 東京五輪組織委

続きを読む

中国機墜落は「意図的な可能性」　米紙報道、急降下は「誰かの指示」：朝日新聞デジタル

2022/05/17 77 users 急降下 朝日新聞デジタル 指示 旅客機 米紙報道

中国で3月、132人が乗った旅客機が墜落した事故で、米紙ウォールストリート・ジャーナルは17日、「コックピット内の誰かが意図的に墜落させた」可能性があると報じた。事故に関連して、米側の調査に詳しい関係者への取材でわかったという。 同紙によると、関係者はブラックボックスのデータなどから、「飛行機はコックピ... 続きを読む

先月墜落した中国機、ブラックボックスに「深刻な損傷」

2022/04/20 113 users 損傷 ロイター 捜索 北京 広西チワン族自治区

中国南部の広西チワン族自治区で先月、中国東方航空機が墜落し、乗客乗員１３２人全員が死亡した事故で、中国民用航空局は２０日、同機のブラックボックスが「深刻な損傷」を受けているとの暫定報告書を発表した。墜落現場での捜索、３月２４日撮影。（２０２２年　ロイター/Carlos Garcia Rawlins/File Photo） ［北京... 続きを読む

「ストップをかけたのは警視庁のトップです」その日、捜査員も検事もみんないなくなった…伊藤詩織が“ブラックボックス”の片鱗に触れた日 | 文春オンライン

2022/03/07 344 users 片鱗 検事 警視庁 ストップ 伊藤詩織

2022年1月、ジャーナリストの伊藤詩織氏が元TBS記者の山口敬之氏から性暴力を受けたとして損害賠償を求めた裁判の控訴審で、東京高裁は山口氏に対し332万円の賠償命令を下した。一方で、事件後に伊藤氏が公表した内容が名誉毀損などに当たるとして、伊藤氏に55万円の支払いを命じた（現在双方上告中）。 一審に引き続き... 続きを読む