スクレイピング速度改善

シストレ+αで運用出来るように上場企業のIRをスクレイピングで取得する自作ソフトがあるのですが速度が遅いんですよねぇ・・・。自宅では光回線で1Gより古い初期の光回線なのでそれが原因で遅い可能性もありますがそれにしても遅すぎる!。スクレインピングは結構グレーゾーンだと思っていて、企業側からするとDDoSによるトラフィックス付加でサーバーダウンをする可能性があるので、ある意味「サーバー攻撃者」とも捉えられる。だから程ほどにはしているのですがそれでも遅すぎて改善策を考えています。

まず考えられるのが光回線を10G契約にする。次にソフトの処理速度改善・見直しですが、一番効果がデカそうなのが光回線の変更。どうしようか迷いますね。目的はシストレ用の外部データの取得・作成を行い、検証するためなのでそのためにそこまで今すべきかって所なんですよねぇ。。。最近の悩みの種です。

PVアクセスランキング にほんブログ村
にほんブログ村 病気ブログ 脳卒中・脳梗塞へにほんブログ村 病気ブログ くも膜下出血へ
にほんブログ村 株ブログへにほんブログ村 株ブログ 株 自動売買へ

コメントする

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です