WEBクローラーを作る場合、作りやすい言語はありますか?
当方、JSとRoRを少々齧った程度のフロントエンジニアです。
node.jsで作るクローラーについては書籍が出ていて
それに沿って制作しようかと考えております。
ただWEB上ではRuby、Python等での製作方法を公開している人も多く
特にJSやRubyが得手という訳でもないので
どの言語で開発するか迷っています。
そこで皆様にご質問です。特に制約が無い状況で
WEBクローラーを作る場合はどの言語が1番お得でしょうか?
(お得の基準は習得が容易、今後業界で役に立つ等です。)
皆様の忌憚なきご意見をお聞きしたいです。
どうか宜しくお願い致します。
みんなの回答 3 件
Rubyでしかやったことないけど、Nokogiri使えば簡単
どっちでも大丈夫だよ。ある程度できる方だと思うし。
大量のドキュメントクロールするんなら、大事なのはどうキューイングして効率良くドキュメントの収集と分析をするかのほうじゃないかな。
そういうアーキテクチャーを考える力のほうが業界で役立つよ。
逆に言語で一番とかはないね。どの言語使うかは、あなたのいる環境次第だと思う。
特定サイトのクローラーだと思うし、Vasilyとか、参考になるんじゃない?
tech.vasily.jp/crawler
Rubyでもクローラー本あるよ
新刊『Rubyによるクローラー開発技法』2014/08/25発売! | るびきち「日刊Emacs」
http://rubikitch.com/2014/08/03/ruby-crawler-book/関連するトピックス