［pandas超入門］欠損値とその処理

2024/08/23 18 users 欠損値 処理 NumPy pandas Python

前回はpandasのDataFrameオブジェクトをNumPyの多次元配列やPythonのリスト、辞書、JSON形式のオブジェクトに変換する方法を紹介しました。今回は、pandasでデータを処理する際には必ずと言っていいほど目にする「欠損値」とその扱いについて見ていきます。 欠損値とは 欠損値とは、取得したデータに含まれる「何らかの... 続きを読む

Amazon ConnectとLexでのコールセンター向けAIチャットボットで、Function Callingを利用し、発話内容から必要な情報を補正しつつJSON形式で抽出してみた | DevelopersIO

2023/10/17 11 users Lex DevelopersIO AIチャットボット

Amazon ConnectとLexでのコールセンター向けAIチャットボットで、Function Callingを利用し、発話内容から必要な情報を補正しつつJSON形式で抽出してみた はじめに Amazon ConnectとAmazon Lexを組み合わせて、コールセンター向けのAIチャットボットを作成しました。その中でFunction Callingを利用し、発話内容から必要... 続きを読む

[初心者向け]AWS LambdaでOpenAI API のFunction Callingを試してみた | DevelopersIO

2023/10/16 17 users 関数 出力 OpenAI API DevelopersIO

はじめに OpenAI API のFunction Callingを触ったことがなかったため、AWS Lambdaを使いを試してみました。 Function Callingとは、ユーザーから受け取った入力から、事前に定義した呼び出すべき関数を判断して、関数の入力形式通りにJSON形式で出力する機能です。 メリットとしては、指定した型に沿ってJSON形式で出力... 続きを読む

Mistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功した｜shi3z

2023/10/06 9 users クイズ shi3z prompt ins Data

高性能と名高いMistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功。これで日本語版データセットの開発が捗るはず。 とりあえず機内での実験のためGGUF(8bit)で試した。GGUFで動くならGPUならもっと動くだろう >>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS] ... 樋口 真嗣（ひ... 続きを読む

「Visual Studio Code」の状態をMarkdown/JSON形式でまとめてくれる拡張機能／ステータスバーには好みのシステム情報を表示しておける【レビュー】

2023/07/20 5 users Markdown ステータスバー 好み 拡張機能 レビュー

続きを読む

ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法 - Qiita

2023/04/30 104 users Qiita LINEbot chatgpt GAS 出力

ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法： この記事ではchatGPTを使ったLINEbotを作成する際に、出力を安定してJSON形式で得る方法を解説します。具体的には、gpt-3.5-turbo APIとGoogle Apps Script (GAS)を使ったLINEbotを想定しています。仮想人格の発言内容と内部パラメータ（感情パラメータ... 続きを読む

ゼロからはじめるJavaScript(18) 可読性と表現力の高いデータ形式「JSONC」を活用しよう

2022/08/06 8 users データフォーマット 可読性 JavaScript 表現力 記法

最近、よく目にするデータフォーマットに「JSONC」があります。これはJavaScriptでお馴染みのJSON形式にコメントを記述できるよう拡張したものです。Visual Studio Codeでも採用されており、設定ファイルとして利用されることが増えています。そこで、JSONCの記法やJavaScriptから使う方法を確認してみましょう。 JSONC... 続きを読む

政府が「ワクチン接種状況ダッシュボード」公開　性別や都道府県別に可視化 - ITmedia NEWS

2021/05/27 14 users 性別 政府 ITmedia News 都道府県別 CSV

政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJSON形式のファイルも提供する。 政府は5月27日、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開した。 ワクチンの接種数や接種率などを... 続きを読む

話題のGoogle製OSS - Tsunamiを試してみた - Qiita

2020/06/27 18 users Ｔｓｕｎａｍｉ セキュリティーホール Qiita XSS 内部

はじめに 先日発表された話題のGoogle製OSS - Tsunamiを触ってみたので，実行方法と概要を残したいと思います． TL;DR サクッとコマンド叩くと脆弱性をjson形式で返してくれるので便利 ただ，XSSやSQLインジェクションといった内部のセキュリティーホールは見てくれない（これから対応するかもしれないが） どちらかと言... 続きを読む

Sequel Proを超えるGUIツールが出てきたぞ

2018/09/21 632 users GUIツール sequel pro MongoDB CSV

今までSequel Proを重宝してきましたが、それを超えるGUIツールが出てきました。 その名も、TeamSQL 現状サポートしているものだけでもかなり豊富 今後、elasticやmongoDBにも対応されるようです。 機能 クエリ保存 履歴保持 ファイル出力 抽出した結果をボタン１つでcsvやjson形式に保存可能。 共有 データをエクスポー... 続きを読む

NginxのアクセスログをJSON形式で出力する - Qiita

2018/03/18 70 users nginx Qiita アクセスログ

http { : log_format json escape=json ' { "time": " $time_iso8601 ",' '"host": " $remote_addr ",' '"vhost": " $host ",' '"user": " $remote_user ",' '"status": " $status ",' '"protocol": " $server_proto... 続きを読む

TwitterとOAuthで超簡易ブロックチェーンつくった — Steemit

2018/03/03 64 users Twitter OAuth この世 リツイート 仮想通貨

こんにちは、 極度消耗（しなさい） です。 最近、 コイナーズ・ハイ で動く仮想通貨を作ったら面白いと思って、この世で一番簡単なブロックチェーンをJavaScriptとJson形式で作ってみようかと考えたのですが、とりあえず これ が出来ました。 簡単に言えば、リツイートがそのまま仮想通貨（ happa ）になる形です。拡散希望ツイートでhappaを消費します。 なんでhappaかというと、これは... 続きを読む

会社が倒産してオープンソースとなったNoSQL「RethinkDB」。最初のオープンソース版「RethinkDB 2.3.6」が公開 － Publickey

2017/07/20 80 users Publickey NoSQL ReThinkDB 最初 成功

会社が倒産してオープンソースとなったNoSQL「RethinkDB」。最初のオープンソース版「RethinkDB 2.3.6」が公開 RethinkDBは同名の企業ReghinkDB社が開発していたNoSQLデータベースで、JSON形式を処理できる高速な分散データベースとしてモバイルアプリケーションのバックエンドやリアルタイムデータ処理などを得意としていました。 しかし残念ながらビジネス面で成功で... 続きを読む

倒産したRethinkDB、知的財産を買い取ってもらいLinux FoundationがApacheライセンスで公開。今後もコミュニティによる開発は続く － Publickey

2017/02/07 35 users Publickey ReThinkDB Linux 知的財産

倒産したRethinkDB、知的財産を買い取ってもらいLinux FoundationがApacheライセンスで公開。今後もコミュニティによる開発は続く JSON形式のデータなどを処理可能な分散データベース「RethinkDB」を開発、販売していた同名の企業であるRethinkDBは、ビジネス的には成功できず、昨年10月に 倒産しました 。今年の1月には、同社のビジネスの失敗を自己分析した記事「 ... 続きを読む

【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ ｜ Developers.IO

2016/12/21 52 users Developers.IO 変換 ETL 新機能 機能

【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ AWS特集 Kinesis Lambda こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「 データ変換機能 」です。所謂 ETL ... 続きを読む

JSONって書いてあるのにJSONじゃない形式のデータを内閣官房なる組織が公開していたから、pythonでJSON形式のデータの保存する方法をまとめる - Qiita

2016/08/21 288 users 人間 価値 社会 ソフトウェア用 高い情報

データは大切です。優れたデータは社会によい価値を提供するでしょう。優れたデータというのは、価値の高い情報を持っているだけでなく、それが扱いやすいということも大切でしょう。扱いやすいというのは、データに簡単にアクセスでき、そのデータを容易に読み込めるということでしょう。特別なソフトウェア用の形式であったり、余計なものが書かれていて読む前に人間が読まないといけないというのは扱いづらいと言えるでしょう。... 続きを読む

WebAPIで受け取れるJSON形式の利用方法 - マネー報道 MoneyReport

2016/02/11 33 users WebAPI MoneyReport 雪かき 大雪 ドカ雪

2016 - 02 - 11 WebAPIで受け取れるJSON形式の利用方法 フリーランスの日常 開発向け スポンサーリンク あとで読む WebAPI 昨日は札幌は大雪で、雪かきを２度もして腰が痛いマネー報道です(^-^; さっぽろ雪まつり期間中のドカ雪で、飛行機もだいぶ欠航した様で影響を受けた方も多かったようですね。 札幌の大雪も満喫していって下さい さて、そんな大雪の中ですが、間借りオフィスで... 続きを読む

[R] jqコマンドをRから呼び出し、JSONをデータフレームに格納する ｜ Developers.IO

2015/11/29 9 users JSON forecast jqコマンド CSV 後々

はじめに 外部のコマンドから呼び出したJSON形式の結果をデータフレーム形式に変換しておくと後々の処理に便利そうだと思い、今回は お天気WebサービスのJSONからjqコマンド経由でデータフレームまで格納するまでをやってみました。 jqコマンドでCSVに適した出力に加工 下記のコマンドを叩けば $ curl -s http://weather.livedoor.com/forecast/webse... 続きを読む

【MySQL】iOSアプリからDBのデータをPHPを用いてJSON形式で取得する方法 | 【学生&一人暮らし】Ralaxの日誌

2015/09/24 49 users 目次 データベース サーバ側 iOSアプリ サーバ上

目次1 前置き2 初期条件3 アプリ側の設定4 サーバ側の設定5 実行結果6 まとめ 前置き iOSアプリ開発初心者の、Ralaxです。 今回は、アプリ内からサーバ上のPHPでアクセスして、 データベースのデータをJSON形式で取得する方法前置き iOSアプリ開発初心者の、Ralaxです。 今回は、アプリ内からサーバ上のPHPでアクセスして、 データベースのデータをJSON形式で取得する方法を紹介... 続きを読む

新しく更新されたAWSのIPレンジをAmazon SNSで通知してもらう ｜ Developers.IO

2015/09/01 21 users AWS Developers.IO 要件 スマート 前回

こんにちは、せーのです。今日は前回の記事に引き続きAWSのIPレンジのネタです。 AWSのIPレンジは公開されている 先日こちらの記事にも書きましたが、AWSにて使用されているIPレンジはJSON形式にて公開されています。IPレンジは定期的に更新、拡張されるので使用時にダイレクトにこのファイルにアクセスし、動的に取ってくるのがスマートかと思います。 しかし要件によっては毎回インターネット上にあるI... 続きを読む

Googleスプレッドシートの内容をJavascriptで取得する方法を教え… - 人力検索はてな

2015/07/07 28 users Googleスプレットシート JavaScript 内容

Googleスプレッドシートの内容をJavascriptで取得する方法を教えて下さい。 APIを使用したいので、JSON形式で取得したいと思っています。その方法を色々と検索しましたが、データを取得することができるというだけで手を入れないとJSON形式にならなかったり、Javascript単体では扱うことができないような方法しか見つけることができませんでした。なお、Pebbleというスマートウォッチ... 続きを読む

150,000以上の英単語の意味、類義語などの情報が取得できる「Words API」が公開：CodeZine

2015/01/07 61 users CodeZine 対義語 類義語 API 単語

WordsAPI.comは、英単語に関する情報をJSON形式で取得できるAPI「Words API」を1月6日（現地時間）に公開した。 WordsAPI.comは、英単語に関する情報をJSON形式で取得できるAPI「Words API」を1月6日（現地時間）に公開した。 Words APIは150,000以上の英単語に対応し、単語の意味や類義語、対義語、階層関係など、24種類の情報を取得可能。例え... 続きを読む

英単語に関する情報を提供してくれるAPI『Words API』 | 100SHIKI

2015/01/06 29 users API 100SHIKI 英単語 Wor 類義語

いつかどこかで使うかもしれないのでエントリー。 Words APIでは（そのままだが）英単語に関するAPIを提供している。 これを使えば言葉の定義から類義語、例文まで、JSON形式で取得できるようだ。 これを使ってどんなサイトが作れるかな？とかんがえるとわりと楽しいのではなかろうか。 1日1,000リクエスト以上は有料になるが、1日10万リクエストでも$30なので検討してみてもいいですな。 Wor... 続きを読む

PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など － Publickey

2014/12/21 137 users Publickey レプリケーション JSON JSONB

PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など PostgreSQL 9.4の主な新機能は、バイナリ形式のJSONであるJSONBのサポート、高度なレプリケーションに利用できる新しいAPI、GINインデックスの高速化など。 一般的なドキュメントデータベース並の高速性 PostgreSQLでは以前のバージョンからJSON形式をサ... 続きを読む

Amazon Web Services ブログ: 【AWS発表】AWSのIPアドレスレンジをJSONで提供

2014/11/23 82 users JSON CloudFront ファイアウォール AWS ＥＣ

多くのお客様から、AWSにアサインされ、AWSが使っているIPアドレスレンジについて、尋ねられることがあります。お客様によってユースケースは異なりますが、ファイアウォールやネットワークのアクセス制御リストに取り込むのが典型的です。これまでは、EC2、S3、SNS、CloudFront等のフォーラムポストを通じて人が読めるような形で提供してきました。 JSON形式のIPアドレスレンジ JSON形式で... 続きを読む