Google Cloud、GPUに頼ることなくローカルのCPUとメモリ上でLLMの活用を可能にする「localllm」を公開

2024/02/15 7 users LLM HuggingFace GPU フレームワーク CPU

localllmは、コマンドラインユーティリティ経由でHuggingFaceから量子化モデルにアクセス可能なツールとライブラリのセットで、Google Cloud Workstation内にてCPUとメモリ上でLLMをローカル実行するための、包括的なフレームワークとツールを提供する。localllmの利用によって、GPUへの依存が排除されアプリケーション... 続きを読む

オブジェクト指向は業務システムで本当に不要なのか？ - Qiita

2024/02/12 175 users Qiita ORM オブジェクト指向 主旨 業務システム

主旨 以前はシステムの状態をオブジェクト指向でカプセル化し、オブジェクト同士の通信でシステムの制御をしようとしていた しかし、Webアプリケーションのように状態をメモリ上に保持し続けるのが難しい環境が増えると、上記のことがやりにくくなった（ORMのインピーダンスミスマッチの影響が大きくなった） 現在では、... 続きを読む

MongoDB、暗号化したままのデータベースを検索「Queryable Encryption」発表。データ格納時、メモリ上、データ転送、ログ、バックアップのすべてが暗号化データのまま

2022/06/14 13 users MongoDB バックアップ データベース ロク データ転送

MongoDB、暗号化したままのデータベースを検索「Queryable Encryption」発表。データ格納時、メモリ上、データ転送、ログ、バックアップのすべてが暗号化データのまま MongoDBは、6月7日から9日にかけて米ニューヨークで開催されたイベント「MongoDB World 2022」で、データを暗号化したまま検索できるMongoDBの新機能「... 続きを読む

MemoryView: Ruby 3.0 から導入される数値配列のライブラリ間共有のための仕組み - Speee DEVELOPER BLOG

2020/12/24 18 users 村田 配列 Ruby コミッター 行列 e.g.

Ruby コミッターの村田です。Ruby 3.0 に組み込まれる実験的な新機能を作ったので解説します。 新機能は MemoryView と名付けられました。これは C などで書かれる拡張ライブラリ向けの機能です。メモリ上の、型が均一で同一サイズの要素から構成される配列 (e.g. 行列や画像など) を、複数の拡張ライブラリ間でコピーレ... 続きを読む

メモリ上にアプリを起動している間のスクリーンキャプチャを保存し、最大5分前のユーザー操作を動画にして出力してくれるMac用ユーティリティ「RetroClip」が無料に。 | AAPL Ch.

2020/04/18 15 users スクリーンキャプチャ AAPL Mac用ユーティリティ

メモリ上に40MBのスペースを作り、アプリを起動している間のスクリーンキャプチャを保存し最大5分前のユーザー操作を動画にして出力してくれるMac用ユーティリティ「RetroClip」が無料になっています。詳細は以下から 続きを読む

もう「サーバーレスだけどサーバあるじゃん」という話をしたくない - めもおきば

2019/05/10 367 users ソフトウェアアーキテクチャ おきば プログラミングモデル

3年ぐらい同じ事を言い続けてるんだけど、そもそもサーバーレスという言葉の由来はソフトウェアアーキテクチャの話*1。 一つのタスクの実行期間を超えて、ファイルシステムやメモリ上の変数などサーバ固有のリソースに依存しないという、12 Factor Appから死ぬほど言われ続けている制約を満たすプログラミングモデルがサ... 続きを読む

【セキュリティ ニュース】マルウェア画像のFAX送信で受信端末乗っ取る「Faxploit」 - 複合機踏み台にネットワーク攻撃のおそれも（1ページ目 / 全1ページ）：Security NEXT

2018/09/12 5 users ファックス 通信プロトコル Security NEXT 攻撃

電話回線を通じて細工したファックス文書を送信するだけで、受信端末のメモリ上に不正なプログラムを展開できる攻撃「Faxploit」が明らかとなった。ファックスの通信プロトコルに起因し、複合機など多数機器が影響を受けるおそれがあるという。 米Check Point Software Technologiesのセキュリティ研究者が8月に開催され... 続きを読む

WSLのファイルシステムアクセス速度をマシにしようとしたが失敗した話 - 覚書

2018/08/28 24 users WSL 覚書 マシン 結論 背景

背景 WSLはファイルシステムアクセス速度がめちゃくちゃ遅い((わたしのマシンでは数 [MB/s]くらい)のをなんとかしたかった。 やったこと WSLにおいて通常のファイルシステム上、tmpfs上、およびWindows上で作ったメモリ上に構築したファイルシステム上でlinux-4.18.5.tar.xzの展開したときの所要時間をとった。 結論 残... 続きを読む

GoogleがフルマネージドなRedis、「Cloud Memorystore」をGoogle Cloud Platformで提供 － Publickey

2018/04/30 147 users Publickey redis NoSQL フルマネージド

GoogleがフルマネージドなRedis、「Cloud Memorystore」をGoogle Cloud Platformで提供 RedisはNoSQLのインメモリデータベースもしくは分散インメモリキャッシュなどとして利用されるオープンソースのソフトウェアです。 その名の通り基本的にすべてのデータがメモリ上に保持されるため、データの書き込み、読み出しなどの処理が非常に高速に実行できるだけでなく、... 続きを読む

サービス情報システム(クラウド) - ncaq

2017/11/21 9 users ncaq ウィンドウシステム NEXT Alto クラウド

専修大学Web講義要項 サービス情報システム ネットワーク情報学部 兼任講師 北川 和裕 Macの源流 ｢Macの源流は1990年代｣という話を聞いて,｢Macの源流は1973年のAltoじゃないですか?｣って言ったら全否定されました.ええ…ウィンドウシステムとかマウスとかの源流なのに…｢OSが違う｣とか全否定されました.NeXTにしたって1988年だし1990年代ではないのでは? メモリ上で演算... 続きを読む

Repositoryの後ろにネットワーク越しのシステムがあることの是非からRedux的世界へ - 猫型の蓄音機は 1 分間に 45 回にゃあと鳴く

2017/09/14 22 users Twitter repository 蓄音機 文脈 分間

2017 - 09 - 14 Repositoryの後ろにネットワーク越しのシステムがあることの是非からRedux的世界へ twitter で言ってたことを少し修正してまとめ。MVVM + Layered Architectureの文脈です。 最近、Repositoyとして抽象化しておけばそのデータがメモリ上にあるかそれともDB上にあるかネットワーク越しにあるか意識しなくていい、というのは嘘だと思... 続きを読む

ptraceとELFとLinuxレジスタ - sonots:blog

2017/05/30 80 users ptrace ELF スタックトレース レジスタ audit

ptrace(2)に入門。ptrace(2) は Linux を含む Unix 系OS にあるシステムコールで、実行中のプロセスに対して、メモリ上のデータやレジスタの値を抜き出したり、書き換えたりすることができる。 これを使ってごにょごにょすると、実行中の関数とその引数を取り出して、実行中のプロセスを止めずにスタックトレースを取得したり、 デバッガを作ったり 、 標準出力を横取りして audit ... 続きを読む

GolangでKey-Valueリソースのキャッシュとノード間同期をする - Qiita

2016/12/08 11 users Qiita golang transparent set 複製

概要 Key-Valueの単純なリソースに透過的に様々な機能を付けて使うためのtransparentというライブラリを作りました。 単純というのはGet/Setくらいの操作しかしないことで、リソースのイメージとしてはAmazon S3やファイルシステムあたりを想定してしてもらえれば良いと思います。こういったリソースに対してメモリ上へのキャッシュや、分散システムのような値の複製の機能を簡単に追加でき... 続きを読む

ドメインロジックとSQL

2016/01/24 279 users SQL ドメインロジック ストアドプロシージャ ギャップ 文章

以下の文章は、Martin Fowler による Domain Logic and SQLの日本語訳である。 データベース指向ソフトウェア開発者とメモリ上(in-memory)アプリケーションソフトウェア開発者との間のギャップは、ここ数十年、徐々に広がってきている。このギャップが原因で、データベースの機能(SQLやストアドプロシージャ)をどのよう... 続きを読む

FluentdのインメモリDump configの機能を使いメモリ上の設定をダンプするには - ククログ(2015-10-02)

2015/10/05 19 users fluentd しくみ config github上 重点

はじめに クリアコードはFluentdの開発に参加しています。 また、Fluentdにはプラグインというしくみがあり、たくさんのプラグインが開発されています。 FluentdはGitHub上で開発されています。また、Fluentd自体はそこまで大きくないものの、柔軟性に重点を置いたコードになっているため、内部構造は複雑です。 メモリ上の設定ダンプ機能とは Fluentdはログなどのデータを集約した... 続きを読む

中央大、メモリ上のデータを指定した時点で自動的に破壊する技術を開発 | マイナビニュース

2015/06/18 89 users 中央大 時点 マイナビニュース 開発 技術

中央大学は6月18日、デジタルデータの「忘れられる権利」を実現できるメモリシステム「Privacy-protection Solid-State Storage(PP-SSS)System」を開発したと発表した。 同成果は、同大 理工学部の竹内健 教授らによるもの。詳細は6月15日から19日にかけて京都で開催されている「IEEE Symposium on VLSI Circuits」にて発表された... 続きを読む

MemSQL、無料版の「MemSQL Community Edition」公開、容量に制限なし。インメモリの分散データベース － Publickey

2015/05/21 45 users インメモリ Publickey MemSQL ノート 容量

MemSQLはインメモリの分散データベース「MemSQL」の最新版「MemSQL 4」のリリースと、無料版の「MemSQL Community Edition」の公開を発表しました。 MemSQLはデータをメモリ上に置くことで高速な処理を実現するデータベース。スケールアウト機能を備えているためノードを追加することで容量や性能を向上させることができます。 内部のデータは、インメモリでのローストア（r... 続きを読む

インメモリDBのRedis 3.0安定版がリリース。Redisクラスタを構成可能に － Publickey

2015/04/02 74 users Publickey redis インメモリDB クラスタ構成

キーバリューストアのRedisの最新版「Redis 3.0」安定版が正式にリリースされました。1月にリリース候補第2版が出ておりその時点で次回が安定版と予告されていたため、予告通りのリリースとなりました。 Redisはメモリ上でデータを扱うインメモリデータベースで、その高速性が大きな特長です。Redis 3.0ではこの高速性を生かしつつクラスタ構成を備えたことで、より大規模に展開できるようになりま... 続きを読む

インメモリKVS「Redis 3.0.0」がリリース、クラスタリングをネイティブでサポート：CodeZine

2015/04/02 24 users KVS クラスタリング CodeZine redis リリース

Salvatore Sanfilippo氏は、PCのメモリ上にKey-Valueストア（KVS）を構築し、外部プログラムからのデータの保存と読み出しを可能にするソフトウェアの最新版として、「Redis 3.0.0」を4月1日（現地時間）にリリースした。 「Redis 3.0.0」では、新たにクラスタリングをサポートしており、大規模な環境でRedisを使用しているユーザーの利便性を向上している。 安... 続きを読む

Goで不必要にメモリアロケーションの回数を増やさない方法 - Qiita

2014/09/01 21 users メモリアロケータ ガベージコレクタ メモリアロケーション

Goにはガベージコレクションがあるのでプログラマがメモリ管理を意識することは少ない。とはいえ無駄にメモリを割り当てまくるとそれだけメモリアロケータとガベージコレクタが走る回数が増えてプログラムが遅くなってしまう。効率の良いプログラムを書こうと思ったらある程度はどういうふうに値がメモリ上に確保されるのか意識することが必要だ。 メモリシステムへの負荷を下げるにはメモリの量だけではなく回数を減らすことが... 続きを読む

Heartbleed情報アップデート：国内でもHeartbleedを狙うパケットの増加を観測 - ＠IT

2014/04/11 81 users Heartbleed OpenSSL ベンダー パケット 観測

「Heartbleed」脆弱性を狙う攻撃パケットの増加が国内でも観測された。あらためてWebサーバー側とエンドユーザー側、それぞれの対策を整理する。 オープンソースのSSL／TLS実装「OpenSSL」に、リモートからメモリ上のデータを読み取られてしまう可能性があるという「Heartbleed」脆弱性を狙う攻撃パケットの増加が観測された。一方でベンダーによる対策も進んでいる。 繰り返しになるが、こ... 続きを読む

パスワードとmemset関数 - yohhoyの日記

2014/03/20 120 users yohhoy sizeof passwd パスワード 日記

C, WindowsC言語プログラム上で高機密性情報（パスワード文字列など）を消去するケースで、memset関数の単純利用では機密情報がメモリ上に残存してしまい、セキュリティ上の脆弱性につながる可能性がある。 void secure_operation() { // パスワード文字列を取得 char passwd[128]; get_password(passwd, sizeof(passwd))... 続きを読む

ZFSがメモリ不足でインポートできなくなった場合の対処法: hasegaw blog

2013/12/09 48 users ZFS DDT 曲者 重複排除 生涯

ZFSの中でも一度オンにしてしまうと生涯呪われてしまい成仏できなくなる機能、それが重複排除（Deduplication）です。 ZFSで dedup=on と設定した状態では、書き込み時に重複排除に使用する DDT という情報をメモリ上およびメディア上に保持するようになります。普通に読み書きしている範囲ではそれほど困らなかったりもするのですが、曲者なのはDDTが付いてるデータを削除するとき。削除対... 続きを読む

Redisのメモリ設定とファイル設定のdiff取るスクリプト書いた - Perl勉強メモ　アルパカDiary出張版

2013/07/25 25 users redis コマンド アルパカDiary出張版 解決 設定

Redis | 20:45 | 次期バージョンであるRedis 2.8ではこの問題を少しでも解決しようと、 CONFIG REWRITE というコマンドで、redis.confの書き換えを行えるらしい、 が、結局それを忘れたら同じことなのでこの問題の解決にはなるかは微妙なところだ。 メモリ上にしか反映されていない設定があるかどうかをなんらかの方法でチェックすることができれば監視するなどできると思う... 続きを読む

Linuxのメモリ上のキャッシュを解放する - RX-7乗りの適当な日々

2012/05/31 381 users Linux RX-7乗り キャッシュ sync Proc

IT, Linux いつも思いだすのに時間がかかるというか、ググるのでメモ。例えば、ベンチマークとかをとっていて、残ったキャッシュを奇麗さっぱりに消したい時とかに使う。Linuxのメモリで保持しているキャッシュをクリアするには、以下を実行する。 # sync # echo 3 > /proc/sys/vm/drop_caches 値の意味としては、、、1： ページキャッシュを解放2： dentry... 続きを読む