-
ID:NhharX さんの質問

WEBクローラーを作る場合、作りやすい言語はありますか?
当方、JSとRoRを少々齧った程度のフロントエンジニアです。
node.jsで作るクローラーについては書籍が出ていて
それに沿って制作しようかと考えております。

ただWEB上ではRuby、Python等での製作方法を公開している人も多く
特にJSやRubyが得手という訳でもないので
どの言語で開発するか迷っています。
そこで皆様にご質問です。特に制約が無い状況で
WEBクローラーを作る場合はどの言語が1番お得でしょうか?
(お得の基準は習得が容易、今後業界で役に立つ等です。)
皆様の忌憚なきご意見をお聞きしたいです。
どうか宜しくお願い致します。

みんなの回答 3 件

ID:qSMT29 さんの回答

Rubyでしかやったことないけど、Nokogiri使えば簡単

ID:G96sJ/

ご回答頂きありがとうございます!!
Nokogiriについて全く知らなかったので助かります!!
ドキュメントも割りと豊富にある印象を受けたので
これで制作を進めていこうと思います。
重ね重ねになりますが有難うございました!!

ID:x33zr8 さんの回答

どっちでも大丈夫だよ。ある程度できる方だと思うし。
大量のドキュメントクロールするんなら、大事なのはどうキューイングして効率良くドキュメントの収集と分析をするかのほうじゃないかな。
そういうアーキテクチャーを考える力のほうが業界で役立つよ。

逆に言語で一番とかはないね。どの言語使うかは、あなたのいる環境次第だと思う。

特定サイトのクローラーだと思うし、Vasilyとか、参考になるんじゃない?
tech.vasily.jp/crawler

最終更新日:2015-11-30 (4,489 views)

関連するトピックス

ページ上部に戻る