  |
はてなキーワード: エンコーダーとは
注意：AI批判目的ではありません。単なる考察結果の共有です。どちらかというと私は思想的にはAI推進過激派です。また、ここでの推測はすべて外れている可能性はあります、あくまで推測です。
DMMボイスという名前から「にじボイス」という名称に変更された。主な変更点は以下。
それ以外は本記事の内容はすべて当てはまるので、以下「DMMボイス」となっている箇所は適宜「にじボイス」へ読み替えて呼んでほしい。
最近AI界隈（？）で話題になっている、20人分のアニメ調キャラクターの声で感情的な音声を簡単に生成することができるAIサービス。
それの学習元に、エロゲーのテキスト音声データが使われているのではないかという話。
まずは性能がかなり高くて楽しいのでみんな遊んでみてください。（そして知ってる声優がいないか探してみてください。）
現時点では何のフィルターもなく、どのような卑語や卑猥なセリフも発話させられる。
ただ、ある特定の雰囲気のパターンのみなぜか音声合成させると吐息のようなものになり、入力文章からかけ離れてしまう。
それは「ちゅぱちゅぱれろれろ」だ。
他にも、例えば「んじゅぷんくっちゅぱ……じゅ……れちゅはぁ……」や「ちゅぷぷっ、んちゅぅ……ちゅくくっ、むちゅぅ……ぢゅるっ、ちゅちゅぅっ」等を試してみてほしい。
ひらがなですべて書かれているので、発音は明確にはっきりしているはずだが、それでもなぜか発音できず吐息のようなものとなる。
一方で、並びはそのままのまま「ふゅととっ、んびゅぅ……こゅねねっ、むびゅぅ……ぞゅけっ、たゅたゅぅっ」や「にゅべべっ、おにゅぅ……にゅけけっ、めにゅぅ……づゅれっ、にゅにゅぅっ。」等は、きちんと文字通り発音される。
さらに、単純に全てカタカナにして、「チュパチュパレロレロ」にしてもきちんと発音される。またちょっと並び替えて「ぱちゅぱちゅろれろれ」は発音される。その他、適当な意味をなさない「ちゅかちゅほぱれもふい」等のランダムな文字列にしても発音される。
他にも、私が試してみた限りでは、上述の謎の雰囲気のテキスト群以外の文章はほぼ正確に文字通りに発音される。
以上のことから、学習データには「ちゅぱちゅぱれろれろ」やその他の上記例のような特定雰囲気のセリフに対して、「その文字の通常の発音通りでないような音声」が対応しているようなデータが使われていることが推測される。
（念の為に書いておくと、音声合成の学習にあたっては、音声とその音声が何を喋っているかというテキストのペアを、大量に学習させる。）
余談であるが、カタカナの「チュパチュパレロレロ」は発音できるがひらがなの「ちゅぱちゅぱれろれろ」は発音できないという事実からは、古くからの音声合成での「日本語文章→音素列（簡単に言えば読みのカナ列）→音声」という流れの単純な音声合成だけでなく、元の日本語からの情報も音声合成に入力していること推測できる。
元の日本語テキストに対して、その音素列に加えて、大規模言語モデルのエンコーダーモデル、いわゆるテキスト埋め込みも音声合成のテキストエンコーダ部分へ注入するというのは、近年の感情豊かな音声合成界隈での一つのトレンドである。
音声合成にあたりAIが「発音の仕方」だけじゃなくて「セリフの意味」も理解する、というわけである。
例えば「ちゅぱちゅぱれろれろ」も、単独では正常な発話ができないが、「はてなは、匿名性を活かした自由な表現が可能となる場として、ちゅぱちゅぱれろれろ、はてな匿名ダイアリーをご利用いただきたいと考えております。」等に文中に紛れ込ませると正常に発話ができること、また文章全体の示す感情によって途中の声音のテンション等が変わること等も、これらの帰結である。
さて、我々は「れろれろれろ……ちゅぱっ、ちゅぶっ……んちゅ、れろっ……ぺろ、ぺろっ……んちゅぅ」のようなテキストが文字通りの発音と対応しない、そのような状況を知っているはずである。そう、エロゲーだ。
エロゲーにはチュパ音という文化がある。これはヒロインが主人公にフェラチオをするシーンで、ヒロインの声優がそのおしゃぶりシーンを汁音たっぷりに演技をするものである。
そこでは、「あぁむ、じゅぶ……じゅぽじゅぽ……ちゅるっ、ちゅ、ちゅっ、ちゅぅぅぅぅ……んっ、んっ、んんっーー！」のようなテキストに対して、そのテキストの通常の文字通りの発音からはかけ離れた、しゃぶりまくり水音出しまくり啜りまくりの演技が音声として与えられる。
よって上記挙動から、DMMボイスの学習元の少なくとも一部には、エロゲーから抽出したデータが使われているのではないかと推測することができる。
界隈では有名な事実だが、エロゲー（R18に限らずノベルゲー一般）からは、1本だいたい（ものによるが）20時間程度の音声とテキストの両方を（多少の知識があれば）大量に抽出することができ、音声合成や音声認識等の音声に関するAIの研究においては非常に貴重なデータとなっている。
よって、大量の「テキストと音声のペア」が必要な音声合成では、特に表に出ないアングラなところで、ひっそりと学習に使われることが多々ある。また特定の声優の声を出そうという意図はなくても、いわゆる音声AIの事前学習モデルとして、すなわち日本語の発音の仕方をAIが学ぶときに必要な大量の音声データとして、そのようなデータを使うことは、一般的とまでは言わないにしても、あることである。
ましてやDMMである。エロゲープレイヤーならば、近年の衰退しつつあるノベルゲー文化はかなりの部分をFANZAに依存していることをすでに知っているだろう（いつもお世話になっております）。
以上のような理由から私はエロゲーが少なくとも学習データに含まれているのではないかと推測したが、そもそものきっかけは、それより前に、単純にいろんなキャラで音声合成させて遊んでいたら、
少なくとも私の耳には「あれこの人あの声優じゃん？」というキャラが何人かいたからである。
久世凛さん（くん？）の人はたぶん声優として有名なあの人だし、ノエラちゃんとか多分一般でも最近いろいろ有名なんじゃなかろうか？（元エロゲー声優出身でそれから表に出てきて大成功していることで有名）
月城 美蘭ちゃんのキャラは某シリーズの某キャラがめっちゃ好きです。
他にも声優に詳しい方だったら、誰の声か分かるキャラが数人はいるのではなかろうか。
さらに実験を重ねていると、エロゲーが学習に使用されていると推測されるもう一つの事象を発見した。
それは「おちんちん」という単語を含んだセリフを音声合成させると、不自然に「おちんちん」の1番目の「ん」がきれて「おちっちん」のように音声合成されるという現象である。
（実際は「おちっちん」ほど極端ではないが、明確に2番目の「ん」の音が通常の発音よりもかなり弱く、不自然に途切れた印象の発音になっている。「おちんつん」等にして比較するとより違いが明確になる。）
このことから、「おちんちん」という単語がそのまま発話されないデータが学習元に多いのではないかと推測できる。
エロゲープレイヤーならば知っているだろうが、大半の商業エロゲーでは規制から「おちんちん」という文字は「おち○ちん」と伏せ字になり音声ではピー音が入る。
このような音声の内部の音声データは、伏せ字部分が抜けて発音されていることが多い（ピー音がそのまま入っているものもある）。
このことも、エロゲーの音声データがDMMボイスの学習元として使われているという推測を支持している。
追記。ブコメ等で、「膣」がなぜか「ナカ」と発音されるという現象の報告が多くあった。また試すと「ナツ」と発話されることも多い。これについて、私よりも音声学に詳しいであろう増田の観察があったのでリンクを貼っておく: anond:20241105060042
端的に言うと、データセットに「膣内に出して……！」等のセリフで「ナカに出して！」と発音されていることが多いことから、本来の読みである「チツ」と「ナカ」との混乱がテキストエンコーダ部分で起きた結果の現象だと推測される。
引用になるが「膣はあけぼの。膣は夜。膣は夕暮れ。膣はつとめて。」を音声合成させてみるのを試してみるとよいだろう。
DMMボイスに対して学習元等の問い合わせをしている人たちが数人はいるようで、開発者サイドのそれに対するリプライの文章から抜粋する。
https://x.com/1230yuji/status/1852914053326483685
「音声学習データは音声データの大量購入、機械合成、収録で取得しています。具体的な情報は企業秘密にあたるため開示できません。」
ここで「音声データの大量購入」という箇所がひっかかる。そう、界隈にいれば知っている人が多いだろうが、音声とテキストのペアのデータセットで、大量購入できるようなものはほぼない（あったら喉から手が出るほど欲しい）。
さらにまた、DMMボイスはアニメ調のキャラクターの音声合成が売りである。そのようなデータセットで、大量購入できるようなものはほぼない（あったら喉から手が出るほど欲しい）。
つまり、ここでの大量購入はエロゲーの大量購入を指しているのではないかと推測することができる。（もしくは、少し前に触れた、すでに公開されているそのような音声データセットから流用したか）。
追記となるが、DMMボイスの利用規約自体が少しおかしいのではという議論を提起している動画があったので紹介しておく: https://www.youtube.com/watch?v=tkBGBVjOIZk
（以前ここで第８条1(1)について書いたいたが、この文言自体は利用規約で一般的なもののようだ、申し訳ない）
音声AIについて昨年5月あたりから品質が大いに向上したことで、AIカバーや声優音声の無断学習等の文脈で、様々な議論が発生している。最近では有名な声優たちがNOMORE無断生成AIというスローガンで大々的に活動している。
これは、声優たちが、自分たちの声が無断でAI学習に使用され、その上で収益化をされていることに対して反対して展開している運動だ。
（この運動に対する是非等の意見は私は持たない、最初に述べた通り私はどちらかというとAI推進過激派である。）
また、このような運動がおこる背景として、（イラストでかなりバトルが発生しているが、）AI学習における「声の権利」との法的な取り扱いが現状の法律だと不明瞭な点から、法律とくに著作権に訴えることでは現状の使われ方に対して法的措置を取りにくいところにある。
このようなAIと音声の権利については最近の柿沼弁護士の記事が参考になるので詳しくはそちらを読んでほしい。
https://storialaw.jp/blog/11344
私自身は法律の専門家でもなんでもないので法的なあれこれについて述べることはできないが、理解している範囲で述べる（間違ってたらすみません）。
音声AIの法的議論では「パブリシティ権」という概念が重要になる。これはざっくり言うと、有名女優の肖像を勝手に商品の宣伝に使ったりすると、その女優が得られたであろう広告収入が奪われたことになるのでダメ、という感じのものである。
このパブリシティ権は現在の日本の法律の文面では明文化されておらず、どこまでがパブリシティ権にあたるのかということについて、特に音声については、未だ判例がなくはっきり分からない。
しかし有名人の氏名についてはパブリシティ権は認められているので、もしDMMボイスが、「あの人気声優○○さんの声で音声合成できる！」としてこのサービスを提供していたら、正式に契約を結んでいた場合に得られたであろう声優の利益のことを考慮すると、声優の許諾がない場合ほぼ確実にダメだと思われる（判例待ちなので断言はたぶんできない）。
だがDMMボイスは、学習元の20人分の声優が誰かや、またその声優からの許諾を得て20人分の声優を使っているかを、うまい具合に言及を避けている。
声優好きな人は声のみからその声優が誰であるかを判定することができる人も多いので、そのような場合に、声優名を伏せていたとしてもパブリシティ権の侵害にあたるかは、おそらくかなりグレーで判例待ち事案である。
そのような意味で、このDMMボイスは（もし裁判等や運動が起これば）音声AIと声の権利に対する法的な解像度を上げ議論を起こすのに貢献する事例になるであろうことは間違いない。
何度か述べている通り、私はAI推進過激派寄りの人間であり、NOMORE無断生成AI等の、最近の声優たちやアンチ生成AIの人達による運動に対しては、事態を注視しているだけの中立的（むしろ逆にガンガン生成AI使っていこうぜという）立場である。
また今回のDMMボイスの公開や今後のサービス展開に対しても、ことさらそれが悪いことだとか、そのようなものは避けるべきだとか、については思っておらず、むしろ「いつか来るだろうなあと思っていたものを大きい企業がようやく出してきたかあ、これで法律や声の権利についての議論や判例が進むかもな」といった程度の感想である。
（そしてDMMボイスのような技術が可能なこと、また実際にそれを学習させてみて個人で楽しむことは、私自身一年前くらいからずっとしており、そこから音声AI界隈をウォッチしていた。）
しかし、最近の声優サイドの運動や時流を見ると、せめて生成できる20人分の声優の許諾を取っているかについて言及しないままでは、アンチ生成AIサイドの批判の格好の的になるだけなのではないかと感じている。
技術的なことになるが、最近の音声AIでは、実在する声優の声から学習させて、しかし音声合成する際には非実在の人物による声音の音声合成が可能である（例えば声優二人の中間の声等）。
それが権利的や法的や倫理的にどうか等は置いておいて、DMMボイスは少なくともそのような措置を取るのがよかったのではないかと個人的には感じている。
（ただ、私の耳が悪いだけで、ホントは「この人の声だ！」と思ったキャラクターは実は全然そうじゃなかった可能性もある。しかしこの「「誰が喋っているかが明確に100%には断言できない」ところが音声AIと声の権利の議論の難しいところである。）
公平のため、最後に「ちゅぱちゅぱれろれろ」が発音できない現象について、エロゲーがDMMボイスの学習に直接使われたという以外に他のありうる可能性をいくつか書いておく。
また端的にありえるのは、他の「ちゅぱちゅぱれろれろ」が発音できないような音声AIをそのまま流用している可能性である。一つ「ちゅぱちゅぱれろれろ」が正常に発話できない音声合成AIライブラリを知っているが、それはデモ動画に私の好きなエロゲーのセリフが堂々と出ていたことから、それの学習元にエロゲーが入っていることはほぼ確実である。
また他に、DMMボイス自体を開発する際にはエロゲーデータは使っておらず許諾を得た声優のみから学習させるが、その学習元となった事前学習モデルにはエロゲーデータが入っていた、という可能性である。前に少し触れた通り、現在の生成AIには学習に大量のデータが必要であり、まず音声AIが発音の仕方を学ぶために、無から正常に発話できるようになるまでには大量のデータが必要である。そのような学習は非常にお金と時間がかかるため、生成AIでは「まず大規模なデータで学習させて事前学習モデルを作る」「次に、その事前学習モデルに対して、話させたい話者のデータで少量追加学習する」というアプローチが取られる場合がほとんどである。この Permalink | 記事への反応(17) | 07:53
2018/1/25 公式サイトの閉鎖や開発者からの謝罪文について追記。
「CAFEditor(CAFE)というAviUtlの正式な後継ソフトが開発されている」
実際にはタイトルにある通りAviUtlとは何の関係も無いし、AviUtlの正式な後継ソフトでもないので、
勘違いする人が少なくなるよう、調べてまとめてみました。
「ＫＥＮくん」氏によって開発されたフリーのWindows用映像編集ソフトです。
プラグインも含めて高機能なので動画投稿者などの間で広く使われており、比較的有名なソフトです。
数名の有志が開発しているマルチプラットフォーム対応でオープンソースの映像制作ソフトです。
まだ開発初期段階であり、ごく限られた機能しか実装されておらず、実用段階ではなく安定もしていません。
AviUtlとの互換性についても特に言及されていないようです。
また、AviUtl作者の「ＫＥＮくん」氏は一切関与していません。
「AviUtlの後継映像制作ソフトウェア、CAFEditorの公式サイトです。」
「A Way BETTER than Aviutl」
「CAFEはAviUtlの後継として開発された映像制作ソフトです。」
「CAFE(Creator's Advanced Film Editor)は、
といった文言があり、あたかも正式なAviUtl後継ソフトであるかのような誤解を招きやすい状態になっていた。
●当然ではあるが、AviUtl作者の「ＫＥＮくん」氏から許可を得たわけではない。
旧： CAFEはAviUtlの後継として開発された映像制作ソフトです。
新： CAFEはAviUtlの後継を目指し開発された映像制作ソフトです。
という修正を行ったが、他の文言がそのままになっていることもあり、
AviUtlの公式後継ソフトだという誤解を招きやすい状況は1/23時点でも続いている。
→(1/25追記)
1/25の夕方頃にCAFEditorの公式サイトが閉鎖され、GitHubに開発者の謝罪文が掲載されました。
●また、上記修正を行った際、CAFEditor公式ツイッターで
「弊プロジェクトは以前よりKENくん氏の所在をお探ししております。
引き続きKENくん氏との連絡を試みて、公式後継ソフトとなれるよう頑張ります」
(そうは思わないという人もいるかもしれないが、筆者の考えは後述。)
●CAFEditor(CAFE)公式サイトに「AviUtlの後継」「将来的に専用の高速レンダリングサーバーも検討しています」といった文言や
AviUtl公式サイトへのリンクがある件、また「公式後継ソフトとなれるよう頑張ります」といった発言などは
開発陣の間で合意がとれていたものではなく、相互チェックがされていなかったり個人の独断であったりという事情がある模様。
●これらの文言や発言などをめぐって開発陣の間でトラブルがあったようで、
レンダラー/エンコーダー担当者の離脱なども起きてしまっている模様。
●設計/GUI担当の開発者は中学生で、3月～4月頃までは高校受験のため活動不可とのこと。
●AviUtlは1997年から開発されていた歴史のある(古い)ソフトであり、更新も2013年4月で止まっているため、
「Windowsでしか動かない」「32bitアプリのためメモリ使用量などに制約がある」
「重い映像制作(4Kなど)は厳しい」といった課題も抱えている。
●CAFEditor(CAFE)の開発は、「良い映像制作ソフトを作りたい」という思いから始まったのだと思うが、
現状を見ると「AviUtlの後継」という言葉に奇妙な執着を見せてしまっているように思える。
●「KENくん氏との連絡を試みて、(AviUtlの)公式後継ソフトとなれるよう頑張ります」という発言はいかがなものかと思う。
全くの別ソフトであり、まだ初期開発段階であるにも関わらず、有名ソフト作者から後継認定を得たいという姿勢は正直言って好ましくない。
もっと言うと、開発が進んである程度優れたソフトになった後だとしても、あまり好ましくないと思う。
企業等がAviUtlの権利を買収するというならともかく、そうではないのだから、
AviUtlの名声に便乗して名声を得ようとするフリーライド的な行為に見えてしまうこともある。
●CAFEditor(CAFE)はAviUtlという名前に頼ったり無闇に引き合いに出すのをやめて、
独立したプロジェクトとして開発を進め、独自に評価と実績を積み上げていった方が良いと思う。
●まだ開発初期ということや開発陣の事情などにより、公式サイトの作成やチェックなどが滞っていたのは仕方ないと思う。
●トラブルもあったようだが、高機能な映像制作ソフトが望まれているのは確かなので、無事にプロジェクトが継続してくれることを願う。
サイズはわかる。スペース以前に一覧性が悪くなって結局見なくなるのどうにかして欲しい。
値段はしょうがねえなあと思ってる。日本市場はなぜか安くしても売れる数が増えないという問題から未だに逃れられない。
何が欲しいかって言うと、綺麗な画質の完パケ品が手元に欲しいんだよ。だからほとんどのオンライン版もアウト。月額制ならあの画質でもいいけど。
AVCならエンコーダーこなれてきたし25Mbpsぐらいでもいい。HEVCならまだ15Mbpsぐらい欲しい。
でも一枚に12話おさめるためにならAVC/20Mbpsぐらいでもいい。BOX版の値段でいいから一枚にして出して欲しい。つまり値段高いGJ部りぴーと！でぃすくをみんなやってくれ。
現在使用している C2Q Q9550 32bit PC (メモリ4GB) では、
640x360 30fps mp4AVC 2pass VBR 1.5Mbps/max2.5M にするのに1時間、
960x540 mp4AVC 2pass VBR 3Mbps/max12M にするのに2時間かかる。
TMPGENC v4を使用し、常時インターレース解除を行っている。
これを最新のCore i7 4790K 64bit PC (メモリ16GB) に置き換えると、どれくらいエンコード時間が短縮されるのだろうか？
但しエンコーダーとして TMPGENC VMW6 を使用するものとし、CPUの動画エンコーディング支援機能を利用してもよい。
さっき打合せしたですよ。
次は不具合のある同僚のPCのエンコーダーを再インストールですよ。
お次はプリンタが使えないという隣のヤツのPCの面倒を見るわけです。
そいでもって社内のファイルサーバーを新しくするために代表に見せる見積もり作るんです。
お次は決済系のトラブルが発生したので決済会社に問い合わせのメールを送ります。
アフィリの請求書がきてるのでチェックして経理に渡すですよ。
ASWのインスタンスのCPUパワーが90になったんでインスタンスを上のクラスに変更しなくちゃ。
ZIPファイルのアップロード漏れがあったのでファイルサーバーから探してZIPしたアップしなけりゃ。
XPのサポートが切れるからXP使ってる連中のPCを発注しないと。
喉が乾いてきたから水のまなくちゃ。
まあ、ここで漏らしてもいいか。
終了になんねーかな。
そしたらひと息つけそうだ。
それならばUSBワンセグチューナーを7つぐらいセットして、全チャンネル録画するような小さなレコーダーを作ればいい。その中から見たいものだけ、携帯などにムーブできれば十分だろう。そもそもデジタル放送の12セグ全部をそのまま録ろうとするから、やれHDDが1テラだ2テラだと必要になるのだ。これをH.264にエンコードして小さくしようにも、エンコーダが7つ必要となり、HDDをたくさん搭載するより不経済である。
ワンセグなら1時間番組が約170Mバイト程度である。これを1日20時間、7チャンネル1週間録画しても、170Gバイトぐらいだ。PC周辺機器でも十分対応できるレベルだだろう。
http://plusd.itmedia.co.jp/lifestyle/articles/0806/09/news018.html
170Gで全チャンネル1週間分というのは惹かれるナー。
自分で作ろうとしたらエンコーダーが数千円にならないとなかなか組めないけど。
