シストレ+αで運用出来るように上場企業のIRをスクレイピングで取得する自作ソフトがあるのですが速度が遅いんですよねぇ・・・。自宅では光回線で1Gより古い初期の光回線なのでそれが原因で遅い可能性もありますがそれにしても遅すぎる!。スクレインピングは結構グレーゾーンだと思っていて、企業側からするとDDoSによるトラフィックス付加でサーバーダウンをする可能性があるので、ある意味「サーバー攻撃者」とも捉えられる。だから程ほどにはしているのですがそれでも遅すぎて改善策を考えています。
まず考えられるのが光回線を10G契約にする。次にソフトの処理速度改善・見直しですが、一番効果がデカそうなのが光回線の変更。どうしようか迷いますね。目的はシストレ用の外部データの取得・作成を行い、検証するためなのでそのためにそこまで今すべきかって所なんですよねぇ。。。最近の悩みの種です。