ビジネス実務で「正しいデータ分析」を行うということ - 渋谷駅前で働くデータサイエンティストのブログ

2024/12/20 17 users データサイエンティスト エビデンス 太古 意思決定 社内外

一般に、ビジネス実務におけるデータ分析というと、経営者や各種ビジネス部門の責任者といったステークホルダーたちが「ビジネス上の意思決定のためのエビデンス」を得る目的で、往々にして社内外のデータ分析の専門家たちに依頼して実施させるものであることが多いかと思います。 そうすると、データ分析業界では太古の... 続きを読む

欠損値処理に関する備忘録 - 渋谷駅前で働くデータサイエンティストのブログ

2024/10/28 14 users 備忘録 古老 データサイエンティスト 太古 某所

最近某所で話題になっていたのが「欠損値処理はどうやるべきか」というテーマ。これは太古の昔から「荒れるテーマ」として有名で、今回も大いに荒れていて傍観している側としては面白かったんですが（笑）、古老ともあろう身がただ面白がっているだけでは自分を含めて誰の学びにもならないので、良い機会ということでち... 続きを読む

「見せかけの回帰」の復習 - 渋谷駅前で働くデータサイエンティストのブログ

2024/10/02 60 users 見せかけ querie.me 回帰 復習 質疑

先日のことですが、Querie.meでこんな質疑がありました。 これは非常にご尤もなご意見であり、実際この問題提起に近いシチュエーションを見かけたことは五本の指では数え切れないくらいあります。ということで、今回の記事では元々の問題意識ともいえる「見せかけの回帰」について、久しぶりにちょっと復習を兼ねて書い... 続きを読む

AIや機械学習が持て囃されて、統計分析やデータ可視化がいまいち主流になれない理由 - 渋谷駅前で働くデータサイエンティストのブログ

2024/08/30 195 users データサイエンティスト 大半 統計分析 機械学習 人々

先日のことですが、こんなことを放言したら思いの外伸びてしまいました。 データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では、大半の人々は自分の頭で考えたくなんかなくて、確実に当たる... 続きを読む

『ベイズデータ解析』はベイズ統計学を用いる全ての実務家が座右に置くべき第一級の鈍器 - 渋谷駅前で働くデータサイエンティストのブログ

2024/08/13 119 users 原著 座右 訳者 名著 ベイズ統計学

ベイズデータ解析(第3版) 森北出版Amazon 先日のことですが、『ベイズデータ解析』を訳者のお一人菅澤さんからご恵贈いただきました。もう一目見ただけで「鈍器」以外の語が出てこないくらいの立派な鈍器で（笑）、原著のBDA3*1に負けないくらいの鈍器っぷりが見事な一冊です。菅澤さんといえば名著『標準ベイズ統計学』... 続きを読む

迷路みたいな渋谷駅周辺はどう変わる？　7月「渋谷サクラステージ」「渋谷アクシュ」相次ぎオープン　東急の狙い

2024/07/25 10 users 迷路 渋谷スクランブル スケール 開業 渋谷サクラステージ

100年に一度のスケールで大改造が進む渋谷再開発が最終段階に入ってきた。7月に入ってJR渋谷駅東口エリアに複合施設「渋谷アクシュ」、南口エリアに「渋谷サクラステージ」が相次ぎ開業。渋谷駅前では「渋谷スクランブルスクエア」の西棟と中央棟が2027年度に完成予定となっている（2019年11月に東棟がオープン）。 続きを読む

実務において回帰分析を行うに当たっての注意点を改めて挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ

2024/07/20 171 users データサイエンティスト 実務 回帰分析 注意点 ブログ

先日のことですが、以下のニュースが統計的学習モデル界隈で話題になっていました。 肝心の箇所が会員限定コンテンツなので簡潔にまとめると、従来モデルよりも説明変数に入れる海域の数を増やした上で、Lasso（L1正則化）回帰で多重共線性を抑えつつ汎化性能を高めるというアプローチを取った、というお話です*1。これ... 続きを読む

機械学習を使う仕事に比して、統計学を使う仕事が産業界に少ない理由 - 渋谷駅前で働くデータサイエンティストのブログ

2024/06/17 27 users データサイエンティスト アナリスト 統計学 機械学習 産業界

近年のデータサイエンティスト界隈では、僕が以前スキル要件記事でも提唱した通りの「ソフトウェアエンジニアの延長としての機械学習エンジニア」（機械学習メイン）と「アナリストの延長としてのデータサイエンティスト」（統計学メイン）とにキャリアもポジションもカルチャーも分化するようになって久しい印象がある... 続きを読む

生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と - 渋谷駅前で働くデータサイエンティストのブログ

2024/05/31 91 users 根底 慣用表現 生成AI データサイエンティスト 問題

かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。 もう読んで字の如しで「ChatGPTが登... 続きを読む

過学習（過剰適合）のはなし - 渋谷駅前で働くデータサイエンティストのブログ

2024/05/02 12 users はなし データサイエンティスト 過学習 テクニカルターム 楽曲

すっかりおじさんになってしまった身としては近年の日本のミュージックシーンに極めて疎くなって久しいのですが、最近になってAdoさん*1の楽曲に『過学習』というタイトルのものがあるということを知ったのでした。 一体どこで「過学習」なんてマニアックなテクニカルタームが存在することを知って、あまつさえ楽曲のタ... 続きを読む

『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ

2024/04/22 250 users 因果推論 金本 バイブル オーム社 データサイエンティスト

因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書... 続きを読む

ハチ公前のくすり屋さん 三千里薬品・藤山雅朗さん - 渋谷の貸店舗･貸事務所の物件情報ならシブテナ

2024/03/23 15 users 赤色 スクランブル交差点 ハチ公前 看板 渋谷

渋谷駅前徒歩1秒 誰もが知っているあのお店 先日の兆楽の藤山光男さんの取材に続き、今回はお兄様の藤山雅朗さんを取材しました。 藤山雅朗さんは渋谷に来た人は必ず見たことがあるであろう「三千里薬品」のオーナーさんです。 そう、スクランブル交差点に面して2店舗ある、あの赤色の看板のくすり屋さんです。 渋谷駅前... 続きを読む

2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ

2024/02/23 161 users 独断 偏見 データサイエンティスト 方々 データ分析職

毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こ... 続きを読む

「入試に数学を課さないデータサイエンス学部」は是か非か - 渋谷駅前で働くデータサイエンティストのブログ

2024/01/22 161 users 文理融合 文系 数学 入試 データサイエンティスト

最近の話ですが、以下のようなニュースが話題になっているのを見かけました。 データサイエンス系の学部は文理融合の学びを掲げ、文系の受験生も集めるため、受験科目に「数学」を含まない入試方式を設ける大学も少なくない。河合塾によると、私立大のデータサイエンス系学部・学科における昨春の一般選抜のうち、数学を... 続きを読む

ヒトだからこそ価値を出せる余地は、AIやデータサイエンスの「外側」の本質への関わり方にある - 渋谷駅前で働くデータサイエンティストのブログ

2023/12/26 16 users 余地 データサイエンティスト 外側 ひと 本質

恒例の年末振り返り記事ですが、もうタイトルが示す通りです。例年通りであれば淡々と1年間の業界動向や個人的な学び、はたまたちょっとした私事などを綴るのですが、今年はたまたま良いお題がやってきたのでまず最初にその話を書こうと思います。 生成AIの爆発的な普及と、それに伴って生じた課題 AIやデータサイエンス... 続きを読む

「仮説ドリブン」という名の甘い罠 - 渋谷駅前で働くデータサイエンティストのブログ

2023/12/20 422 users 仮説ドリブン データサイエンティスト 甘い罠 我が身 落とし穴

今回の記事では、ちょっと感覚的でふわっとした話をしようと思います。それは「『仮説ドリブン』という考え方には往々にして落とし穴があるのではないか？」という問題提起です。 そもそも、「仮説ドリブン」（仮説駆動型：hypothesis-driven）というアプローチは実験科学分野出身の我が身にとっては、個人的には馴染み... 続きを読む

データセットの本質的な性質を踏まえないデータ分析には、大抵何の意味もない - 渋谷駅前で働くデータサイエンティストのブログ

2023/11/11 169 users 大抵 データサイエンティスト 性質 データ分析 意味

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。 しかし... 続きを読む

渋谷ハロウィンを楽しんでる恐竜と牧師のコスプレをした外国人、日本人もあまり知らないB級邦画を元ネタにしてた

2023/10/28 10 users 牧師 ハチ公 恐竜 ハロウィーン 路上飲酒

リンク Yahoo!ニュース ハロウィーンに「渋谷に来ないで」 外国人観光客はどう過ごす？ 「路上飲酒」規制に「ハチ公」も“封鎖”（日テレNEWS NNN） - Yahoo!ニュース 27日、東京・渋谷駅前には、外国人による長い列ができていました。渋谷のシンボル「忠犬ハチ公像」と外国人の記念撮影は、もはや、おなじみの光景ですが... 続きを読む

ハロウィーン対策で初 渋谷駅前のハチ公像“封印”へ | NHK

2023/10/26 22 users ハチ公像 封印 ハロウィーン ハロウィーン対策 新型コロナ

渋谷区は、新型コロナの5類への移行後、初めてとなることしのハロウィーンについて、例年以上に大勢の人が集まってトラブルや雑踏事故が起こる懸念があるとして、「ハロウィーン目的で渋谷に来ないでほしい」と異例の呼びかけをしています。 こうした中、区は10月28日から11月1日の朝まで、「ハチ公像」の周りを見えない... 続きを読む

「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ

2023/10/21 167 users Transformer 論議 時系列予測 高橋 https

先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twit... 続きを読む

10年経ってもついに消えずに残った、データサイエンティストという職業 - 渋谷駅前で働くデータサイエンティストのブログ

2023/08/26 94 users データサイエンティスト 趣旨 職業 議論 記憶

このブログでも何度か引用しているこちらの記事で、「データサイエンティストという職業は10年以内に消える」という趣旨の議論がされていたのがちょうど10年前の2013年でした。ちなみにこの記事はついているブックマーク数に比して当時は結構注目を集めたという記憶があり、割と業界内では「確かにこんな中途半端な職業... 続きを読む

渋谷ツタヤ、CD・DVDレンタル終了へ、一時代の終焉…全面改装をCCCに聞いた

2023/08/10 342 users CCC gettyimages 終焉 レンタル DVD

SHIBUYA TSUTAYA（「gettyimages」より） 東京・渋谷駅前のスクランブル交差点前に構える「SHIBUYA TSUTAYA」（以下、渋谷ツタヤ）が、一時休業・全面改装に伴いDVDやCDなどソフトコンテンツのレンタルを終了させることがわかった。渋谷ツタヤといえば、レンタルショップとして圧倒的に豊富な在庫を持ち、かつては高い集... 続きを読む

NN研究における再現性にまつわるエトセトラ - 渋谷駅前で働くデータサイエンティストのブログ

2023/07/25 10 users エトセトラ データサイエンティスト 再現性 ブログ 論文

先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。 これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ、「reasonableな」努力で再現できたのはわずかに7個に過ぎず... 続きを読む

エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ

2023/07/02 544 users LLM時代 教養 データサイエンティスト エンジニア 方々

（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し... 続きを読む

グアムに行ってきました - 渋谷駅前で働くデータサイエンティストのブログ

2023/06/24 165 users グアム データサイエンティスト DVT 夏至 ブログ

Hafa Adai!!*1 6月中旬、夏至のちょっと前にグアムに行ってきました。コロナ禍以降これまで全く海外に行っておらず、また昨年5月にDVT（深部静脈血栓症）に罹ってから*2は飛行機にすら乗っていなかったので、その両方を今回ようやく解禁したという次第です。 行き先をグアムにした理由は幾つかあるんですが、1つ目は飛行... 続きを読む