-
ID:atwB1i さんの質問

rubyにて、ある検索ワードを指定したらその検索結果全てのリンク先にアクセスし、特定商(都道府県や会社名)や画像のURLを判断して利用しているシステムを調査し、その情報をテキストやCSVとして出力したいと思っております。

rubyは触ったことがないのですが、どうか教えて頂けないでしょうか。
調べていたところ、クロール系はrubyがやりやすいのかなと思いました。
特定URLでのクロールの仕方はわかったのですが、検索後、その結果URLに対してクロールするという方法がわかりませんでした。

みんなの回答 2 件

ID:h5QYCk さんの回答

特定URLの取得ができるなら、それを再利用すればいいだけだね。
クローラー作る時は作法として1サイトにあんま連続してリクエストしないように。あとちゃんとRobot.txtは読み込むようにしとこう。

ID:vtCgVD さんの回答

触った事ある奴でやった方がいいんじゃないの?

最終更新日:2015-09-08 (1,427 views)

関連するトピックス

ページ上部に戻る