ベクトルデータベースとは何かを解説、生成AIで「必須の存在」はどんな役割を担うのか

2024/01/24 88 users ベクトルデータベース 生成AI 格納 照会 データベース

生成AIの可能性を広げる「ベクトルデータベース」への関心が急速に高まっている。ベクトルデータベースとは、生成AIが扱う非構造化データの格納・管理・照会で利用されるデータベースのこと。ここではベクトルデータベースの基本をわかりやすく解説するとともに、生成AIの普及において、どのような役割を果たすのか、注... 続きを読む

行政の統計資料のような非構造化データをGPTで構造化データに変換する｜まーくん | 西見 公宏｜note

2023/03/15 541 users GPT GPT-4 Note GPT-4 API まーくん

今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変... 続きを読む

分析系とトランザクションのクエリの壁は消失する!? Google Cloudが予測する2025年までに実現するクラウドテクノロジの動向

2022/10/19 10 users クエリ トランザクション BigQuery 動向 予測

Google Cloudの年次カンファレンス「Next 22」のデベロッパキーノートで発表された”10の予測”の中から、岩尾エマはるかさんが紹介した4つのトレンドをレポートします。 10月12日から14日にかけてオンラインで開催されたGoogle Cloudの年次カンファレンス「Google Cloud Next ’22」では、BigQueryによる非構造化データの... 続きを読む

［速報］BigQueryが非構造化データのサポートを発表。これで構造化データ（RDB）、半構造化データ（JSON）、非構造化データをサポート。Google Cloud Next '22

2022/10/11 45 users JSON BigQuery RDB パブリックプレビュー 速報

Google Cloudは、開催中のイベント「Google Cloud Next '22」において、大規模データ分析サービスのBigQueryで非構造化データのサポートを発表しました。 BigQueryの非構造化データサポートを発表するGoogle Cloud CEO トーマス・クリアン氏 BigQueryは今年1月にJSON型データへのネイティブ対応をパブリックプレビューと... 続きを読む

NoSQL を使用する場合と SQL を使用する場合 | Microsoft Docs

2017/02/18 569 users NoSQL RDBMS リレーショナル SQL ストレージ

SQL Server とリレーショナル データベース (RDBMS) は、20 年以上にわたって活躍してきたデータベースです。 ただし、より大きな容量の急速に増える多様なデータを高速で処理する必要性の高まりにより、アプリケーション開発者が求めるデータ ストレージの種類には変化が生じました。 このシナリオを実現するために、大規模な非構造化データと異種データを格納する NoSQL データベースが普及し... 続きを読む

フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する （1/3）：CodeZine

2015/04/24 263 users CodeZine RDBMS Hadoop VM環境 起動

この連載では、フリーのVM環境「Cloudera Quick Start VM」を使って、ビッグデータ分析に必要な各種技術（データの取込み、非構造化データの分析、機械学習、全文検索など) を学習します。この連載を読むことで、ビッグデータ分析基盤に必要な基礎技術を学ぶことができます。第1回では、VM環境のダウンロードと起動、RDBMSからHadoopへのデータのインポート、Hadoop上でのテーブル... 続きを読む

データ分析の定番「Hadoop」導入・運用に成功するシンプルな方法 － TechTargetジャパン データ分析

2014/06/16 11 users Hadoop TechTargetジャパン 知見 創出 分散

非構造化データを中心に爆発的に増大し続けている企業のデータ。今、多くの企業ではビッグデータを収集・分析し、今まで得られなかった知見の抽出や新たなビジネス価値の創出などに活用しようとする動きが加速している。その中で、収集される膨大なデータはビッグデータとなり、それらビッグデータを高速に分散処理するためのソフトウェア基盤として、「Hadoop」の導入が本格的に進みつつある。 例えば、物流サービス企業で... 続きを読む

導入事例：奈良先端大が研究用システムを刷新　高性能なHadoop基盤を構築 - ITmedia エンタープライズ

2014/01/22 31 users 刷新 バイオサイエンス ITmedia エンタープライズ

奈良先端科学技術大学院大学は、情報科学やバイオサイエンス、物質創成科学の研究に向け、大量の非構造化データを分散処理する高性能なHadoop基盤を構築する。 奈良先端科学技術大学院大学（以下、奈良先端大）は、情報科学やバイオサイエンス、物質創成科学の研究に向け、大量の非構造化データを分散処理する高性能なHadoop基盤を構築する。システムを提供する日本オラクルが1月22日に発表した。 奈良先端大は情... 続きを読む

Amazon DynamoDBがFine-Grained Access Controlに対応し、もはやMBaaSの体制は十分整った - snippets from shinichitomita’s journal

2013/11/01 55 users MBaaS DynamoDB 既報 体制 表題

表題の通り、AmazonがDynamoDBをFGAC（Fine-Grained Access Control＝行・列レベルのアクセス制御）に対応しました。これにより、既報のソーシャルログイン対応とあわせて、モバイルユーザが直接DynamoDBを利用することが可能になり、MBaaSの重要なピースである構造化データストアが提供されることになりました。非構造化データ（＝ファイル）を格納するAmazon ... 続きを読む

「法律がじゃまなら、変えなければ」――弁護士の牧野二郎氏がビッグデータについて講演：ITpro

2013/06/24 19 users ものすごい勢い 牧野氏 富山市 ビッグデータ活用 ITpro

2013年6月22日、富山市で開催された第17回日本医療情報学会春季学術大会（開催日2013年6月21〜22日）で、弁護士の牧野二郎氏がビッグデータの利用と法律の関連性について講演（写真）。「ビッグデータ活用をつぶしてはいけない。もし法律がじゃまをしているのなら、法律の方を変えていかなければいけない」と訴えた。 まず牧野氏は、ビッグデータ現象について「データの量、特に非構造化データがものすごい勢い... 続きを読む

情報抽出入門 〜非構造化データを構造化させる技術〜

2013/05/16 281 users 構造化 技術 Statistics Likes 情報抽出

Statistics Likes 1 Downloads 0 Comments 0 Embed Views 0 Views on SlideShare 0 Total Views 0 情報抽出入門 〜非構造化データを構造化させる技術〜 Presentation Transcript 情報抽出⼊入⾨門〜～⾮非構造化データを構造化させる技術〜～2013/05/16 PFIセミナー株式会社プリファードイ... 続きを読む

レッドハットがビッグデータ戦略、「技術革新をリードするOSSでソリューションを提供」：ITpro

2013/03/28 16 users レッドハット ITpro OSS 米レッドハット OSSベース

「ビッグデータの格納/処理ではオープンソースが優れる。非構造化データを上手に扱うためのOSSベースの製品を提供する」---。レッドハットは2013年3月28日、同社が発表したビッグデータ戦略に関する記者会見を開催。ビッグデータと同社のOSS製品群との親和性の高さをアピールした。 米レッドハットは2013年3月20日、ビッグデータ戦略を発表した。この日の記者会見はその内容を解説したもの。レッドハット... 続きを読む

分散リアルタイムデータベース「SenseiDB」がオープンソースで公開。LinkedInのインフラとして開発 － Publickey

2012/01/23 342 users Publickey Sensei LinkedIn インフラ

テキストなど非構造化データのデータベース機能とサーチエンジン機能を兼ね備えた分散リアルタイムデータベース「SenseiDB」が、オープンソースとして公開されています。 SenseiDBとは先生DBの意味らしく、「Sensei (先生) means teacher or professor in Japanese」と説明があり、ロゴにも「師」の文字が使われています。なぜ先生なのか、その意味について以... 続きを読む