neologd と TinySegmenterMaker を手軽に組み合わせられる様にしてみた

と言う話です。なお実際の成果物はこちら：

前提となる知識

そもそも Neologd とか TinySegmenter とか何やねんと言うと、

で、TinySegmenterMaker はその TinySegmenter のモデルを作り、カスタマイズされた TInySegmenter を作るためのツールチェイン一式、という感じです。

なお、それぞれのリンクは以下：

で。私の成果物である、

は、何をしているかというと、

と言う感じのコトをやっているパッケージです。

なお私は普段使いの OS が NixOS なんで、 nix-shell 経由で作業が出来る様に default.nix が付属していますが、他の Linux 環境でもコマンドさえ揃ってれば Makfile のタスクを実行できると思います。

なお細かい流れとかについては、

を見てくれーと言う感じですが、だいたいコレを参考にしてカスタムな Makefile を作れば、おおよそ手軽に再現性のある TinySegmenter が作れると思います。

自分は TinySegmenterMaker のコーパスを作るために、自分のブログ（つまりこの WebSite です）の過去記事をプレーンテキストにして合体させたモノを使いました。やってて良かったブログ歴 13 年。

ただこれ、自分のブログを元ネタにしたんで、今回作ったモデルだと自分のブログに最適化された形で分かち書きされる、と言う様な気はしているんですが、いかんせん TinySegmenter も含めテキスト処理についてはあまり詳しくないので、今回作ったモデルで精度とか出るのか、と言うと正直良く判りません。

あと今回作ったパッケージには scripts/model-to-json.pl と言う謎スクリプトが付属していますが、これを上手いこと使うと以前自分が作った、

で使える JSON ファイルが得られるので、上記ライブラリは Golang 製ですが、わりと手軽に精度とかをチェックするのが出来るんじゃないかと思います。

と言うコトで、

neologd と TinySegmenterMaker を手軽に組み合わせられる様にしたよー

と言う話でした。

まぁ結果として出来上がったモデルが実用できるのかどうかは今一つピンと来てないんですが、今回作ったパッケージでモデルを作る作業は大分ラクになったので、良かったら使ってみて下さい。

と言う事で今回の話は以上です。はい。