BigQueryでSaaSのjsonデータを処理するSQLサンプル集 - 下町柚子黄昏記 by @yuzutas0

2022/01/04 21 users SaaS BigQuery SQL 関数 JSONデータ

この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」というサンプル集を掲載する。 目次 この記事の概要 目次 宣伝 実現... 続きを読む

人間の脳のように振る舞う汎用人工知能を開発するための方法論を標準化（MONOist） - Yahoo!ニュース

2021/10/14 20 users MONOist Bra 汎用人工知能 Yahoo 人工知能

東京大学は2021年9月28日、汎用AI（人工知能）などのソフトウェアを実装する際の仕様情報となる脳参照アーキテクチャ（BRA）データ形式と、それを用いた開発方法論を標準化したと発表した。 今回提案されたのは、人間の認知機能を脳全体の神経回路を参照しながら再現する脳型ソフトウェア開発を、BRAを共同で描く設計作... 続きを読む

脳のように振る舞う汎用人工知能を実装するための開発方法論を東大が標準化

2021/09/29 6 users 東大大学院 人工知能 神経回路 汎用人工知能 ひと

東京大学(東大)は9月28日、ヒトの認知機能を脳全体の神経回路を参照しながら再現する人工知能(AI)ソフトウェアを実装する際の仕様情報となる「脳参照アーキテクチャ」データ形式と、それを用いた開発方法論を標準化したことを発表した。 同成果は、東大大学院 医学系研究科 脳神経医学専攻の山川宏客員研究員(東大工学系... 続きを読む

ゼロからはじめるPython(71) Excelで読めないSQLiteデータをPythonで読んでExcelに差し込みたい | マイナビニュース

2020/12/22 7 users Python Excel Exc マイナビニュース ライブラリ

時々、Excelで読み込めない形式のデータや、独自形式のデータをExcelのシートに貼り付けたい場合がある。Pythonの豊富なライブラリを使えば様々なデータ形式を手軽に読み込める。今回は、SQLite形式のデータをPythonで読み込んでExcelに貼り付けてみよう。 SQLiteのデータをPythonで読み込んでExcelに挿入したところ Exc... 続きを読む

GoとSuffixArray | フューチャー技術ブログ

2020/08/07 13 users tig std JSON grep http

はじめにTIG の辻です。 Go は標準ライブラリが充実しているとよく言われます。標準ライブラリだけで、HTTP サーバを作れたり、暗号化処理や、JSON や CSV といったデータ形式を扱うことができます。go list std | grep -v vendor | wc -l としてパッケージ数を見てみると、約 200 ものパッケージが存在することがわかり... 続きを読む

PDFからテキストを抽出するのはなぜ難しいのか？ - GIGAZINE

2020/03/04 14 users てき GIGAZINE テキスト抽出 PDFファイル PDF

PDFファイルは、どんな環境のPCでもテキストや画像の表示を崩すことなく見られるデータ形式です。しかし、PDFからテキストデータをコピーしようとすると、うまく選択できなかったり、テキストの内容がおかしくなってしまったりすることがあります。なぜPDFファイルからのテキスト抽出が難しいのかを、PDFファイルのテキ... 続きを読む

Googleカレンダーの予定をデータ形式（スプレッドシート）にするGAS（プログラム） | EX-IT

2019/08/11 62 users GAS EX-IT 手帳 カス Googleカレンダー

Googleカレンダーに登録している予定を、データ形式にする方法をまとめてみました。 Google Apps Script＝GAS（ガス）というプログラムを使います。 Google カレンダーのメリットはデータを蓄積できること 10年以上 Google カレンダーを使っています。 紙の手帳は使っていません。 紙の手帳のよさもありますが Google か... 続きを読む

曖昧なレシピを調理家電が読める形式に、クックパッドが開発状況を発表 | 日経 xTECH（クロステック）

2019/02/27 18 users xTech クックパッド MRR クロステック 日経

料理レシピ情報サービスのクックパッドは2019年2月27日、イベント「Cookpad TechConf」でIoT（インターネット・オブ・シングズ）調理家電などで自動処理できるレシピのデータ形式「マシン・リーダブル・レシピ（MRR）」の開発状況を発表した。研究開発部の伊尾木将之氏は「クックパッドの膨大なレシピ情報をデータとして... 続きを読む

AI、データ不足6割　「動かない頭脳」続出の恐れ　　:日本経済新聞

2018/09/30 328 users 人工知能 欧米 頭脳 用途 運用

日本の主要企業の6割が人工知能（AI）運用に欠かせないデータ活用で課題を抱えていることが分かった。製品やサービスの開発、事業開拓などAIの用途は新たな分野に広がりつつある。だが必要なデータが不足していたり、データ形式が不ぞろいで使えなかったりと、AIの導入に戸惑う事例も多い。欧米を中心に企業のAI活用が急... 続きを読む

AI、データ不足6割　「動かない頭脳」続出の恐れ　　:日本経済新聞

2018/09/29 328 users 人工知能 欧米 頭脳 用途 運用

日本の主要企業の6割が人工知能（AI）運用に欠かせないデータ活用で課題を抱えていることが分かった。製品やサービスの開発、事業開拓などAIの用途は新たな分野に広がりつつある。だが必要なデータが不足していたり、データ形式が不ぞろいで使えなかったりと、AIの導入に戸惑う事例も多い。欧米を中心に企業のAI活用が急... 続きを読む

無料で商用利用可能な高クオリティ＆汎用性高めのアイコン素材集「ICON BOX」 - GIGAZINE

2018/08/23 42 users SVG GIGAZINE PNG デザイナー 単純作業

「デザイナーの皆さんが、アイコン作りなどの単純作業をする時間を減らし、よりクリエイティブな作業にフォーカスできるように」という思いを込めて作られたアイコン素材集が「ICON BOX」です。PNGとSVGの2つのデータ形式でダウンロード可能で、線データを残した状態で提供されているため、無料で利用できるだけでなく各... 続きを読む

「JSONという気味の悪い拡張子」“誤訳”で物議　東洋経済オンラインの記事修正「原文とかい離していた」 - ITmedia NEWS

2018/06/08 172 users JSON 誤訳 かい離 気味 物議

東洋経済オンラインの翻訳記事に「JSONという気味の悪い拡張子」「聞いたこともない拡張子」といった表現があり、「JSONは一般的なデータ形式だ」「原文と意味が違う。誤訳では」などと物議に。同誌は「原文とかい離した訳だった」とし、記事を訂正した。 「東洋経済オンライン」に6月6日に掲載された翻訳記事に、「（JSONという）気味の悪い拡張子」「聞いたこともない拡張子」といった表現があり、ネットユーザー... 続きを読む

iOS用最新Chromeでパスワードの一括エクスポート可能に。他のアプリでも取り込めるCSV形式 - Engadget 日本版

2018/04/18 17 users CSV形式 パスワード iOS Engadget 日本版 機能

米現地時間4月17日（日本時間4月18日）Chrome for iOSが最新バージョン「Chrome 66」にアップデートされ、Chromeで保存されたパスワードの一括エクスポート機能が追加されました。データ形式は汎用的なCSVです。 この機能は約1ヶ月前、デスクトップおよびAndroid向け「Chrome 65」で実装されていたものの、実験的なフラグを有効にすることで利用できるおためし版に留まっ... 続きを読む

難読地名も音声読み上げ、機械判読可能な地名データを国土地理院がウェブ提供 -INTERNET Watch

2017/08/25 43 users 機械判読 INTERNET Watch 難読地名 国土地理院

ニュース 難読地名も音声読み上げ、機械判読可能な地名データを国土地理院がウェブ提供 永沢 茂 2017年8月25日 11:00 　日本国内の地名情報を機械判読可能なデータ形式でウェブ提供する実験を、国土地理院が8月4日より実施している。データに含まれている“読み”の情報を活用すれば、難読地名をひらがなで確認したり、音声で読み上げてもらえる地図も開発できるという。地理教育現場や、日本の地名に不慣れな... 続きを読む

国土地理院、地名情報の機械判読可能なデータ形式でのウェブ提供実験を開始 | カレントアウェアネス・ポータル

2017/08/04 26 users ひらがな 地名 カレントアウェアネス・ポータル 機械判読 音声

2017年8月4日、国土地理院が、整備している地名情報のうち、居住地名、自然地名、公共施設、住居表示住所について、機械判読可能なデータ形式でのウェブ提供実験を開始したと発表しています。 居住地名と自然地名には、地名の「よみ」の情報も含まれており、この情報を活用することで、難読地名の読みをひらがなで確認したり、音声として聞き取ることができる地図の作成が可能となります。 また、国土地理院のウェブ地図「... 続きを読む

Ruby - タブ区切りテキスト(TSV)を様々なデータ形式に変換するWEBサービスとライブラリ - Qiita

2015/12/26 20 users npm Qiita ひび TSV Ruby

ExcelやGoogle スプレッドシートからピピっとコピーしてできたようなタブ区切りテキスト（TSV）をささっと別のデータに変換できるようなサービスがほしかったので、以下のサービスをつくりました。 Tsvert TSVを別のデータ形式に変換する機能については、汎用的に使えそうなのでJavaScriptライブラリとしてきりだして、npmに公開しています。 high5/tsvert high5/ts... 続きを読む

「タブ区切りは CSV じゃなくて TSV だろ」問題がついに解決した - 頭ん中

2015/12/01 411 users カンマ区切り TSV CSV エクセル 根強いファン

CSV ありますね。カンマ区切りのデータ形式。 なんか根強いファンがいて、どうしてもこの形式のファイルをダウンロードしたりアップロードしたりしたいという要望をよく聞きます。 CSV がほしい理由 これをやりたい理由のひとつとして、Microsoft Excel からエクスポートしたデータを読み込ませたいとか、逆にシステムにあるデータをエクセルで見たいとかいうのがあると思います。あると思いますってい... 続きを読む

Google ウェブマスター向け公式ブログ: Web Components と JSON-LD でウェブサイト開発がより簡単に

2015/03/20 41 users JSON-LD ウェブページ スニペット 実装 人物

Google フレンドリーなサイト制作・運営に関するウェブマスター向け公式情報 JSON-LD は、Google などの検索エンジンに対してサイト上のコンテンツを記述する構造化データの実装に使用できる JSON ベースのデータ形式です。たとえば、イベント、店舗、人物などのリストがある場合に、schema.org ボキャブラリを JSON-LD スニペットとしてウェブページに埋め込むことで、構造化さ... 続きを読む

【登録不要・商用利用可】提案資料に使えるイラスト素材サイトを全てのビジネスマンに知ってほしい | ビットエーブログ - 株式会社BITA

2015/01/07 115 users 株式会社BITA ビットエーブログ 商用利用可 提案資料 全て

どうも、やなぎさわです。提案資料に欠かせないイラスト素材。だけど、ベクターデータだったり、登録しなくちゃいけないなんてことよくあります。 そこで今回は、登録不要で商用利用可のサイト「SOZAI KOUJOU」をご紹介します。もちろん無料です。 データ形式は「JPG」か「PNG」なので、すぐにパワポで使えます。 イラストの素材数は1,500点以上で、このサイトの凄いところはプレゼン用の資料や名刺、飲... 続きを読む

Google BigQueryで今期アニメに関するツイートを分析するぞい！ - Qiita

2014/10/29 79 users Qiita ぞい ファイルブラウザ BigQuery CSV

BigQueryでアニメに関するツイートを分析する アニメツイートを記録したCSVをBigQueryに上げる データ形式を選択する CSV/JSON/AppEngine Backupが選べますが今回はCSVとします。 File Uploadでブラウザからファイルアップロード・・・といきたい所ですがファイルブラウザからのアップロードは10Mバイトに制限されています。 10Mバイト以上のファイルはGo... 続きを読む

ニュース - 米IBM、NoSQL「MongoDB」を開発する米10genと提携：ITpro

2013/06/10 13 users NoSQL MongoDB リレーショナルDB IBM 提携

米IBMは2013年6月6日（米国時間）、NoSQLのデータベース（DB）の「MongoDB」を開発する米10genと提携すると発表した。IBMはMongoDBのデータ形式やクエリー言語に関する規約である「BSON」の標準化に参画するほか、BSONをIBMのリレーショナルDB「DB2」やインメモリーDB「WebSphere eXtreme Scale」で利用可能にする。 IBMでは10genとの提... 続きを読む

EPUBがISO/IEC JTC1に提案される、国際標準番号「DTS-30135」付与 -INTERNET Watch

2013/02/05 17 users ePub デファクトスタンダード IDPF ISO 付与

ニュース EPUBがISO/IEC JTC1に提案される、国際標準番号「DTS-30135」付与 （2013/2/5 13:12） 電子出版の業界団体であるIDPF（International Digital PublishingForum、国際デジタル出版フォーラム）が策定した電子書籍のデータ形式で、事実上の世界標準（デファクトスタンダード）となっている「EPUB」が2月4日、ISO/IEC J... 続きを読む

キャラクター/効果線/景観/などが無料ダウンロードできる「マンガ素材辞典β」 - GIGAZINE

2011/08/24 126 users GIGAZINE ロイヤリティフリー 景観 キャラクター 文字

データ形式はすべてPNG形式、画像サイズは「景観」「効果線」が5870×4167pixel(600dpi)、「描き文字」「吹き出し」「キャラクター」が2950×2094pixel(600dpi)となっており、かなり実用的です。 これらの素材はロイヤリティフリーのデジタルフォトコレクションで有名な「素材辞典」によって公開されており、詳細な利用規約なども用意されています。 マンガ素材辞典β-景観、効果... 続きを読む

ASCII.jp：実は重要！ よくわかる電子書籍フォーマット規格!!｜電子書籍を選ぶ前に知っておきたい5つのこと

2011/01/27 533 users ASCII.jp 電子書籍 ハードウェア フォーマット 一口

一口に「電子書籍」といっても、実はそのフォーマット（データ形式）によってさまざまな種類が存在する。そのため、気に入った電子書籍を読む前に、その本がどのフォーマットのものなのか把握して、サポートしている閲覧用ソフト（あるいはハードウェア）を手に入れなければならない。いわば、VHS対ベータ、Blu-ray対HD DVDのような規格争いが電子書籍においても繰り返されており、主流となりそうなフォーマットは... 続きを読む

ベクターデータを探すならココ！ベクターデータ配信サイトをまとめたダウンロードサイト32選「32 Places to Find High-Quality Vectors」 | DesignDevelop

2010/05/16 272 users ベクターデータ DesignDevelop 拡大縮小 ココ

ベクターデータを探すならココ！ベクターデータ配信サイトをまとめたダウンロードサイト32選「32 Places to Find High-Quality Vectors」 制作の現場では一般的なベクターデータ形式。拡大縮小が自由自在で、色の変化なども自由にでき、汎用性が効くデータ形式として広くデザインには利用されています。今回紹介するのはそんなベクターデータで制作された素材データをダウンロードできる... 続きを読む