はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから

「本の編集ではテキスト原稿のバージョン管理しか勝たん」という信念を押し通してきて、そろそろ20年近くになりました。厳密には19年くらいだと思うので、タイトルは誇張です。 久しぶりに編集者にとってのバージョン管理に言及したくなったので書いてみました。 目次です。 なんで「テキスト原稿のバージョン管理」の話をしなくなったか 「誌面レイアウトしたPDFとか紙に赤字を入れる」で編集するのもう無理… そこでテキスト原稿のバージョン管理 具体的にどうすればいいのさ 前提からつらつら書いていたらやたらに長くなりそうだったので、全部捨てて書き直したのに、それでもそれなりに長くなってしまった。 最後の節に書いた「 「原稿の移り変わり」を管理するのではなく、「原稿にありうる無数の可能性」を管理する 」というヒントだけでも持ち帰ってもらえればうれしいです。 なんで「テキスト原稿のバージョン管理」の話をしなくなっ

お探しのページは、移動または削除された可能性があります。 お手数ですが、トップページから再度アクセスしてください。 このページをブックマークに登録されていた方は、 お手数ですがブックマークの更新をお願いいたします。 The page you’re looking for can’t be found. Please click here to go to the site top. If you bookmarked this page, please update.

更新日: 2020年8月14日 このページの目的 プログラマーは、クライアントから提供されたPDFファイルで、その要求を実現させようとしたとき、PDFのどんなところを見ているのでしょうか。このページでは、ちょっと珍しい視点でPDFファイルを解き明かしていきます。 自分でプログラムを書いてPDFファイルからテキストデータを取り出したいという人も、ぜひご一読ください。 はじめに PDFファイルをクリックすると、あたかも紙に印刷したかのように、どんなマシンでも同じような見た目で文章や画像がディスプレイに表示されます。 この単純な事実は、日常的にPDFファイルを利用していると当たり前に感じられるかもしれません。しかし、よくよく考えると驚くべきことです。 いったい、どのような仕組みがあれば、「過去から現在に至るさまざまな種類のコンピューターで見た目を変えずに同一の紙面を再現する」という目的を達成でき

「科学古典が無料で公開されているすごいサイトがある」――こんなネット上での書き込みを見て、筆者は「科学図書館」というWebサイトの存在を知った。 「科学的知識は万人によって共有されるべきもの」とトップに掲げるそのWebサイトには、北里柴三郎、志賀潔、寺田寅彦、本居宣長、九鬼周造といった日本の科学者・哲学者・偉人や、アルベルト・アインシュタイン、ルイ・パスツール、マックス・プランク、ヴィルヘルム・オストヴァルトなど海外の著名な科学者たちの著作がPDF形式で公開されている。いずれも著作権者の許諾を得て掲載しているという。 その数、500冊以上。PDFは、本をそのまま画像で取り込んだものではなく、組版（くみはん）用のマークアップ言語「TeX」で1冊1冊組版したものだ。実際にPDFを見てみると、丁寧に組版されており、昔の著作でも読みやすい。文章のコピーもできるため、単語の検索も容易に感じた。 一体

スマートフォンやタブレットを、ポータブルスキャナー化するアプリはこれまでにもいくつかリリースされていますが、『Adobe Scan』が注目されるのは、PDFの総本山アドビからのリリースであり、「Adobe Document Cloud」に対応しているからでしょう。 スマホをスキャナ化すると、領収書や名刺だけでなく、ホワイトボードやメモ、新聞記事や絵のデジタル化も簡単になります。 『Adobe Scan』はOCR（光学式文字認識）を搭載しているので、書類を撮影したり、既存の写真や画像を取り込むと、文字部分を自動的に認識してテキスト検索可能なPDFとして保管してくれます。これは強力な武器といってよいでしょう。撮影した書類から、文章をテキストとしてコピーしたり、書類内をキーワード検索したりできます。（とはいえレシートなどの文字を上手く認識できないこともあるのですが） スキャンアプリに求められるの

短いエントリーです。 学年だよりをPDFで配ってしまえば良いというブコメがありまして、実際に似たようなことをやってみたので、お知らせします。 前のブコメで学年便りの質が…と言われたのですが、使い回し前提のWordだとこんなもんです…学校のパソコン、書体がOS+Officeのデフォルトのままですし… （ちくしょ、一カ所直し忘れておいもフェスタのままだ。半角と全角も混じってて気持ち悪い…） 夏休みの課題一覧と作品用の名札を学校のウェブサイトで配信してみた 夏休みの課題一覧を配るのをやめて、配信にしてみたんですね。作品用の名札もセットで。 夏休みの課題の一覧って、膨大な数の課題から1つか２つ選んで提出なんです。 ということは、そのページ以外は要らないんですね、本来。紙が勿体ない。うちの市、年度末になると紙を買う予算ががないって言って騒動起きます。（大抵どうにかなりますが）なので配信にしました。

「覚えられそうもない」「前の方が分かりやすかった」――。衣服の「洗濯表示」マークが2016年12月1日に変更されることを受け、インターネット上に「分かりづらい！」といった不満の声が相次いでいる。 現行の表示は1968年から使われており、消費者にとっては50年近く馴れ親しんだマークが変わることになる。さらに、新表示ではマークの種類が従来の倍近くに増えるほか、「手洗イ」「ドライ」といった日本語表記も消える。こうした表示変更に伴う注意点について、クリーニング業界の関係者に聞いた。 新洗濯表示「△」の意味は・・・ 現行の洗濯表示は日本が独自に使用しているものだが、新しい表示は国際規格に合わせたマークになる。日本語表記が消えるのもそのためで、基本的には言葉を使わずに図形だけで「洗濯ルール」を表記している。 例えば、「△」というマーク。これは、「塩素系及び酵素系の漂白剤で漂白ができる」ことを表したもの

受験生向けの参考書などを出版する旺文社（東京都）が、過去の入試問題をＰＤＦで電子データ化して保存していたのは著作権法に違反する恐れがあると外部から指摘され、先月、全て削除したことがわかった。 削除対象は大学、高校の入試問題で、延べ約４０００校分に上る。紙の著作物を私的使用以外で電子データに複製することが同法で禁じられているためで、企業が保管スペースの節約などのために行う「ＰＤＦ化」に、意外な課題が浮かび上がった。 同社によると、全国の大学や高校約５００校から毎年、入試問題の問題用紙の提供を受け、一部は権利処理をして出版物に転載したり、出題傾向の分析に使ったりした上で、提供された原本を社内の倉庫で保管していた。ただ、場所を取る上に経年劣化も生じることから、２００７年度以降はＰＤＦ化して同社管理のサーバーで保存し、原本は廃棄してきた。

平川哲生 Tetsuo Hirakawa @bokuen 10月期放送アニメが「放送延期続出」の異常事態 excite.co.jp/News/society_g… 今年の10月番も大変ですけども、旧正月を含む来年1月番のほうが本当の意味で山というか地獄なんですよね…。 2016-10-27 01:00:06 zuo3トン＠D8ブレインの超ミクさん @zuo3teng2chun 終に来てしまったかという印象だが、この後の1月期がどうか。10月期は4月からの新人が担当だからでもある 10月期放送アニメが「放送延期続出」の異常事態。背景に制作現場の過酷な環境 | ハーバービジネスオンライン hbol.jp/114251 @hboljpから 2016-10-27 08:11:18 ぽん太 @ponta0754 うちの職場も人手不足が深刻で何とか回しているんだけど、いっそ現場崩壊させて上層部に現状認