基盤モデルなどを使いながら､文章をOCRするメモ (暫定)｜Kan Hatakeyama

2024/11/04 14 users 暫定 メモ 基盤モデル 文章

書籍には､不規則に図表などが入っていたりすることがあります｡ また､レイアウトが乱れたりすることもよくあります｡ このあたりの整理をいい感じにしてくれるシステムを見つけるのが､今回のミッションです｡ 結果結果一覧です｡ いまのところ､「OCRソフトでの文字認識 + GPT-4oでの修正」がベストでした｡ 次点として､「OCR... 続きを読む

大規模言語モデルをフルスクラッチする練習 (環境構築ー事前学習まで)｜Kan Hatakeyama

2024/03/05 75 users フルスクラッチ 言語モデル 練習 レポジトリ内 一環

はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後... 続きを読む

英語の学術論文をChatGPT-4で執筆する際の手順メモ｜Kan Hatakeyama

2024/01/05 265 users ChatGPT-4 学術論文 chatgpt 手順メモ 英語

はじめに英語の論文をGPT4に執筆させた際の手順を記します｡ 普段からChatGPTを使っている人にとっては､当たり前のやり取りしかしていないのですが､意外と使えていない方がnon-AI分野では多いので､丁寧にプロンプトを示していきます｡ (ワークショップで解説する必要が出てきたので､そのためのメモ書きです) GPT-4に論文は... 続きを読む