WEBクロールにて重くなった場合の処理

解決

まちゃる 2009-10-16 01:15:35 No: 35915

Webbrowserを使用してWEBサイトをクロールしています、長時間巡回していると非常におもくなります。(もちろんですが…)

原因はキャッシュである、対象サイトの内容である、などさまざまですが
結果最終的に「読み込み違反によるエラー」などでフリーズしてしまいます。

あいまいなご相談になってしまい申し訳ないのですが
なにか良い案はありますか？

Mr.XRAY 2009-10-20 03:18:03 No: 35916

Mr.XRAYです．

>なにか良い案はありますか？

多分ないでしょう．

Webサイトは,初期の頃と比べて，いろいろいなコンテンツがあります．
それらを処理しようとすると，その判断に時間がかかります．
最終的に処理できなければ，エラーとなります．あるいは固まります．

TWebBrowserは確かにWebのページを表示する基本的な機能はありますが，
IEやFireFoxのようにしたいのであれば，それなりの知識と工夫が必要です．

これは簡単ではないでしょう．
Webサイトの知識も必要となるでしょう．
例えば，Firefoxで[ツール][オプション]を見てください．
ここに[コンテンツ][プログラム]というところを見てください．
リストが表示されると思います．

これらの処理も考える必要があるでしょう．
頑張ってください．

まちゃる 2009-10-24 03:33:42 No: 35917

僕の変な質問に親切丁寧に答えていただきましてありがとうございます。

こういった内容でも質問してみて新たなアイデアが出てくる場合も
あるかと思って投稿してみました。

貴重なお時間頂きましてありがとうございます。