Queue.雑記( )

プログラミングと雑記

VTuber業界調査の動画に関して

www.youtube.com

f:id:YOGT:20191020202834p:plain
10月18日 ホロライブ全ライブ視聴者数

f:id:YOGT:20191020202919p:plain
10月18日 ホロライブの総視聴者数

ようやくだせた
解析が上手くいかなくて焦ったけどだせてよかった

JSONファイルにLIVERを記載してるのは、後で追記できるようにするため

今回はプロキシサーバを介して結構ゴリゴリにスクレイピングをしてみた
ブログみていた人は分かると思うけど、
429エラーのせいで急遽、串を刺すことになった

動画内ではプロキシサーバ、とそれだけしか言ってないけど、
実際にはTorを使っている
普通にプロキシ使うだけだと、たぶん相当遅くて使い物にならないんじゃないかな?
去年やった記憶だと、遅すぎて駄目だった


解析では、時間刻みで総視聴者がどれだけいるのかの処理に手間取った
何が問題かと言えば、データはそれぞれ5秒おきであるものの、
各ライブによって取得時間秒数が違うため、これを一度均さないといけないということ

実際には、一度、10秒おきの入れ物をつくっておいて
そこに加算していく方法でやった
複数ある場合は平均をとるのではなく、時間の遅いほうのデータをサンプルする方法にした
だいたい変わんないでしょ


概要欄でもある通り、圧倒的に個人勢が足りないので
ちょっと追加しないとなー、なんて思ってる


追記:
グラフみてわかることは
意外と開始時間が被っているVが多いこと
ホロライブ内だけでみると、2000人が平均くらいだということ
ライブ後半で視聴者がピークを迎える配信が多いこと
そこそこ長いライブでも意外と視聴者の”付き合い”がいいこと

ライブ終了に向けてピークを迎える配信が多い中、
単調に減っていく配信もある
これは内容が面白くないから離れて行ってるとみていいと思う
それはやってることが問題なのかとか、そういうのはわからないけど
何かしら原因がありそう

あとは2窓3窓している人をどうとらえるか、だな…
”視聴者数”ではなく、関心がある、と判断して、単に”関心の数値”としてみるか…

Tacoで日本語TTSしてる人いた!

TTSの事例探してまわってた
どの事例もめっちゃデータつかって学習してる人しかいなくて、
うーん?ってなってたんだけど
ようやくtacoでやってる人みっけた

medium.com

できてる!
しかも、解説めっちゃ丁寧で分かりやすい
俺そこまで理解してなかったことを思い知った

ただこの人のいう通り、ちょっと発音が平坦かな
かなり明瞭なのはデータセットで殴ったから?
やっぱ大量のデータあるほうが自然な音声つくれるんかな?

でも、綾波レイデータセットの5089文みたいなサンプル、
常人には集めれないって
これ何時間分だよ...

それだけあれば十分じゃね?って思うけど、
どっかにできない要因があるんだろうな
この人のいうようにtacoはやっぱ何かが足りないんだ
同じ見解で共感を覚えた

ところで、
Vocoderは非話者依存であるため再学習の必要はない”
この文章が気になる
VocoderってWaveglowのことだよな?
あれ話者依存のはずでは?

どこかのブログでの議論で、
「WaveGlowはあくまでもデータセットに用いる話者の発話の”再生成”」
っていう結論がでたはず

これだ
www.hiro877.com
(この人のとこにリンク合った)

だから、他人のMel-spcを投入してもうまいこと音声が生成できないってはずだけど…?
どうなんだろう

追記:
大量サンプルでの事例しかないと何が困るのかって言うと、
俺が嘘をでっち上げてるんじゃないか?って思われるんじゃって思ったんだよな

でもこれは、ブログ見ればわかるからブログみてほしいんだけど
そもそも1カ月で大量サンプルなんてつくれないし、
じゃあ自分で作ったんじゃ?っていうのも、
短期間でここまで精巧につくるのは無理じゃね?ってなってなるはず

…まあ、そんなの気にしないで、自分がつかうことだけ考えればいいか
他人の声気にするならこんな活動するもんじゃないし

やっぱArchなんだよなあ

www.archlinux.jp

スクレイピングプロセス落ちてないよな?大丈夫だよな?
なんてドキドキしながら帰ってきたら、

ふつーに実行中で一安心

やっぱりUbuntuのシステムに問題があったんじゃん!
ネットワーク弱すぎ!
そしてManjaro優秀過ぎ!

もうLinux系OS使う時はArch一択にしようかなあ、なんて
調子に乗って思ってしまうほど

ラズパイで Rasbian lite 使ってるから
CUI OSの操作にもそこそこ慣れてきている
なので、Archをそのままつかうのもあり

でも調べてみると、すごいカッコいいデスクトップの画像が。。。
f:id:YOGT:20191017201545p:plain

これはManjaroじゃないな

Arch系の堅牢性っていうのは、
別にプログラムがすごいわけじゃなくて、
そもそも最初はなんも入ってなくて、
必要に応じて自分で加えていくスタイルからきているらしい

いい思想だ


追記
ヤバい
ストレージは問題なかったんだけど、
夕方から夜中はかなりスレッドが増えて
Pythonメインプロセスで1.5GB,スレッド内のサブプロセスで40MB×50スレッドつかってた
このパソコンメモリ4GBなんだよね

システムプロセスもある関係でメモリ使用率98%までいった
そのせいか
画面出力がバグった
色層がずれて歪んでた

とりあえずリセットしたらなおったけど
これ、1日一回は切らないとまずそう

きりたんの歌唱データベースなるものができるらしい

この人、WORLDとかつくってる結構有名な人じゃなかったっけ?

github.com

プロ雇ってデータ構築するとか、すげー気合い入ってるな
いくらくらいかかるんかな、10万とか?
そんで、10月も半ばだけどどんな状況なんだろ?

...なんて、人のこと言えたもんじゃないんだけどさ

アカウント登録すれば誰でも使えるようになるらしいから
一応目はつけておこう




スクレイピングのほうは、相変わらずネットワークエラー吐き出してくる
Ubuntuはもうあてにならないので、Manjaroのほうで動かすことにした
環境構築めんどかったけどなんとか動かすことはできた

Archでダメなら、、、どうするよ?
どうもDNSに繋がってない挙動だから解決はできるっぽいんだけどなあ
まあ、今日だめなら考えるか

動画は、まあ、だせるだけの内容はつくれるはず


あ、解析プログラム組んでねえ

QiitaにTTSの考察とかの記事書いた

技術的なことブログで書いたって見る人も少ないし
意見もらえそうにないから、Qiitaの方に掲載することに

結構気合い入れて書いた
いい具合にまとまってると思う
(TTS関連にリンクあり)


あの記事について裏話と補足をする


まずひとつ目、
読んでみて思った人もいるかもしれないけど、
明らかに情報は選別して掲載している
要するに、言わない情報を徹底して伏せている

理由は後程

ふたつ目、
それに関係するんだけど、
「なんだ!サンプル少なくてもできるならやってみよう!」
ってなって開発者が増えることを、そして
そこから情報が入ってくるとこを目論んでるんだけど、

まあ、まずできないと思う
できるなら逆に教えて欲しいくらい
(教えてもらえないことは承知)

(というか、簡単じゃないから
DNNの日本語TTSやってみた系の記事なさすぎるんだよな
モデル見直してもうちょい簡単にならんもんかな)

日本語に適応するようにつくり変える、というのが第一ハードルで、
それに合わせてデータセットの作成する、第二ハードル
で、最後に最適パラメータの選別

言葉で並べるとこれだけかって思うけど、
どれの検証にも時間がかなりかかることを忘れないでほしい
学習しないと確かめれないから

...なんて、じゃあやめとこってなってほしくないんだけど


では理由の方に話を移す

まず、肉声に近づける、という目標のもと頑張ってるんだけど、
アプローチがあやふやになってよくわからなくなってきたので、
情報を集めることに

国外でやってる人は少なく、
特に英語はgoogle api使えばいいじゃん、みたいなスタンス
やってみたって人は韓国とあとはロシア?とモンゴル?を確認したけど、
全然情報なかった

じゃあどうするってなって、
TTSに関する情報が欲しいなら、これを公開するのがよいのでは、ってことに
けど、全て公開してそれになぞる人が増えるだけでは、
俺は何も得られない
これは本望ではない

そこで個人TTSで成功事例が少ないというアドバンテージを全面に使うことにした
この環境で、この程度のデータセットで、こういう風に生成できるTTSができた
と、できることの証明と実際を公開すれば
それなりに興味をもって集まってくれるのでは?
という狙いがあった

ここで、ダメだった事例でもなんでも情報が手にはいるなら
これはかなり有益なものになる

とまあ、打算だらけの裏話

結果的には、公開3日後300views越えるという、ブログなんて目じゃないほど人がみているので、
Qiitaしゅげえなんて思っている

利確

f:id:YOGT:20191016065634j:plain
いい感じに反発してくれたので利益確定
これで+7k
久しぶりの取引だったけど、上手くいったか
もうちょい欲張ってもよかったんかな


ここんとこ東一株式は軒並み高騰してて買おうにも買いようがない
来週末までは取引なしかなあ

ネットワークに繋がらなくなる

Ubuntuスクレイピングしてるんだけど
なんか動作が安定しないな
リクエストのスパンが短すぎてサーバからリジェクトされちゃうんかな

それにしたってネットワークが切れるのはおかしいような
どうもこのUbuntuのシステム自体に問題がある気がする

よくわからんな
とりあえず立ち上げ直して、今日もダメだったら考えてみるか


話は変わって

store.steampowered.com

Unrailedというゲームを知った
とにかく線路を伸ばしていくゲーム
面白い色合いでいいデザインのゲームだなと思った

で、気になったのは
推奨グラフィクス要件に記載がないこと
最低グラフィクス要件が Intel HD Graphics 520であること

…この程度の描画って今はそんなに軽い動作なのか?
Unity、じゃないよなこれ
なにでつくられてんだろ

それともゲームシステムから動作環境を意識してつくってあるのか
これって結構すごいことな気がする
ゲームは実際にやってみれば「あーこの処理こうなんじゃね?」みたいにわかることが多いから
友達が買ったらプレイしてみよう。。。。。。。。(絶望)