mobipocketと英辞郎 for Kindle(2) へのコメント http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/ 僕にだって言いたいことくらいあるんだ Tue, 07 Sep 2010 06:24:25 +0000 hourly 1 http://wordpress.org/?v=3.0.1 僕 より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-541 僕 Sat, 02 Jan 2010 17:45:42 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-541 あー、そうだ。エントリーの見出し語が2語以上のものは無条件に間引くと言うのは気持ちよさそうだなー、これだけはやってみようっと。(kindleの on time lookup はどうせ2語以上のはヒットしないし) で、やってみたら、エントリー数は 270,648個まで縮小。mobipocket reader でざっとみた限りでは、これでも十分なんじゃない？って感じ。実は、この方が検索とかも軽快になっていいのかもしれない。 ってことで、預かったcsvファイルは明日にでも自分のディスクからは抹消しますね。 あー、そうだ。エントリーの見出し語が2語以上のものは無条件に間引くと言うのは気持ちよさそうだなー、これだけはやってみようっと。(kindleの on time lookup はどうせ2語以上のはヒットしないし)

で、やってみたら、エントリー数は 270,648個まで縮小。mobipocket reader でざっとみた限りでは、これでも十分なんじゃない？って感じ。実は、この方が検索とかも軽快になっていいのかもしれない。

ってことで、預かったcsvファイルは明日にでも自分のディスクからは抹消しますね。

]]> 僕 より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-540 僕 Sat, 02 Jan 2010 17:41:09 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-540 Mobipocket Creatorで処理できるHTMLファイルを吐き出すようには出きましたが、最終的に残念なお知らせです。 HTMLのパースの途中で Error(index build): master record overflow (max=64k): aborting index build. というエラーのためにビルドを諦めてしまうようです。エントリーが全部で1,919,665個と言う膨大な数になっているために、文字通りindex作成領域を超えてしまったのでしょう。 なんか、無駄にエントリーが多いのは確かだと思います、今の英辞郎は。最初の頃は、この idiom の多さが魅力でしたが、過ぎたるは及ばざるが如しのラインを遥かに超えちゃっている気がしますね。 ちなみに、最初から 1,500,000個目までだと正常にビルドを完了出きます。また、1,500,001個目から最後までだけのエントリーをやってみてもビルドに成功します。 ただ、こういうぎりぎりのことを繰り返していると、必ず例のC++ Runtime Error が出るので、もともとメモリ管理が弱いのは確かなのだと思います（メモリ管理できないのなら、C++使うなよって感じ、マネージドコードの世界だけでプログラム書いとけっ！）。 ここで、間引くと言う話になると、いろいろ趣味・嗜好の話になるので困りものですが、最新英辞郎から作成する場合は、例のchu-jiroとかによって、CSVファイルの段階で間引いてからやってもらうしかないか、って感じです。 明日にでも、時間を見て、UTF-16LE対応版を公開します。 Mobipocket Creatorで処理できるHTMLファイルを吐き出すようには出きましたが、最終的に残念なお知らせです。
HTMLのパースの途中で

Error(index build): master record overflow (max=64k): aborting index build.

というエラーのためにビルドを諦めてしまうようです。エントリーが全部で1,919,665個と言う膨大な数になっているために、文字通りindex作成領域を超えてしまったのでしょう。

なんか、無駄にエントリーが多いのは確かだと思います、今の英辞郎は。最初の頃は、この idiom の多さが魅力でしたが、過ぎたるは及ばざるが如しのラインを遥かに超えちゃっている気がしますね。

ちなみに、最初から 1,500,000個目までだと正常にビルドを完了出きます。また、1,500,001個目から最後までだけのエントリーをやってみてもビルドに成功します。

ただ、こういうぎりぎりのことを繰り返していると、必ず例のC++ Runtime Error が出るので、もともとメモリ管理が弱いのは確かなのだと思います（メモリ管理できないのなら、C++使うなよって感じ、マネージドコードの世界だけでプログラム書いとけっ！）。

ここで、間引くと言う話になると、いろいろ趣味・嗜好の話になるので困りものですが、最新英辞郎から作成する場合は、例のchu-jiroとかによって、CSVファイルの段階で間引いてからやってもらうしかないか、って感じです。

明日にでも、時間を見て、UTF-16LE対応版を公開します。

]]> kinton より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-539 kinton Sat, 02 Jan 2010 15:06:12 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-539 こんにちは、 そうですね、utf8変換前もメールしましたのでよろしくお願いします。 こんにちは、

そうですね、utf8変換前もメールしましたのでよろしくお願いします。

]]> 僕 より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-538 僕 Sat, 02 Jan 2010 14:44:32 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-538 そうですか…。できれば、PDICが吐き出したそのままのものが欲しいのですが…。変換過程で失われているものがある可能性があるので。（誰もが、同じ変換過程をなぞれるとも限りませんし） そうですか…。できれば、PDICが吐き出したそのままのものが欲しいのですが…。変換過程で失われているものがある可能性があるので。（誰もが、同じ変換過程をなぞれるとも限りませんし）

]]> kinton より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-537 kinton Sat, 02 Jan 2010 14:41:59 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-537 PDICから変換後、utf16->utf8に保存しなおしたものです。 PDICから変換後、utf16->utf8に保存しなおしたものです。

]]> 僕 より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-536 僕 Sat, 02 Jan 2010 14:28:47 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-536 ありがとうございます、さっそく見させていただいているのですが、これはPDICが吐き出したそのままですか？それともutf16->utf8変換後のものでしょうか？ ありがとうございます、さっそく見させていただいているのですが、これはPDICが吐き出したそのままですか？それともutf16->utf8変換後のものでしょうか？

]]> kinton より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-535 kinton Sat, 02 Jan 2010 14:16:30 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-535 メール送りました。 お時間があれば原因を判明していただけると嬉しいです。 メール送りました。
お時間があれば原因を判明していただけると嬉しいです。

]]> 僕 より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-534 僕 Sat, 02 Jan 2010 13:30:44 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-534 と、思ったらメアドとか、ここからはわからないんですね。guiyh40@yahoo.co.jpまで、よかったらお願いします。 と、思ったらメアドとか、ここからはわからないんですね。guiyh40@yahoo.co.jpまで、よかったらお願いします。

]]> 僕 より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-533 僕 Sat, 02 Jan 2010 13:21:24 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-533 自分もいじっているときに、そういうことがあったような気がしますね。おそらくはサイズの問題ではないでしょうね。できれば、最初の1000行ほどを（って多いいかな？圧縮すればそうでもないと思うのですが）送ってもらえませんか？cvsの方ができればいいかな。一応、原因を知っておきたいし。 ご面倒でしたら、別にいいんですけど。 自分もいじっているときに、そういうことがあったような気がしますね。おそらくはサイズの問題ではないでしょうね。できれば、最初の1000行ほどを（って多いいかな？圧縮すればそうでもないと思うのですが）送ってもらえませんか？cvsの方ができればいいかな。一応、原因を知っておきたいし。
ご面倒でしたら、別にいいんですけど。

]]> kinton より http://ns.ttj.nu/whatiwannatalkabout/2009/12/31/mobipocket%e3%81%a8%e8%8b%b1%e8%be%9e%e9%83%8e-for-kindle2/comment-page-1/#comment-532 kinton Sat, 02 Jan 2010 13:17:52 +0000 http://ns.ttj.nu/whatiwannatalkabout/?p=1417#comment-532 こんにちは！ EIJI-117の変換ですが、Eijiro.csv2html.pl でhtmlにできましたので、 Mobipocket Creatorで辞書ファイルに変換を試みたものの 3時間待ちましたが、0%で変換が進行しませんでした。 version52も所有しておりましたのでそちらで実行してみたところうまくいきました。 サイズの関係でしょうかね？（htmlサイズ　ver.117：約240MB　ver.52:約130MB ともかくも、英和検索が使いやすくなって助かりました！ ありがとうございます！ こんにちは！
EIJI-117の変換ですが、Eijiro.csv2html.pl でhtmlにできましたので、
Mobipocket Creatorで辞書ファイルに変換を試みたものの
3時間待ちましたが、0%で変換が進行しませんでした。

version52も所有しておりましたのでそちらで実行してみたところうまくいきました。
サイズの関係でしょうかね？（htmlサイズ　ver.117：約240MB　ver.52:約130MB

ともかくも、英和検索が使いやすくなって助かりました！
ありがとうございます！

]]>