不可能ですね。IPアドレスやホスト名だけでそれがロボットか否かがわかりません。個人のグローバルIPでもロボットみたいな動作はできるわけですから（スクレイピングなどで）
2さんとかぶるけど、公言してるものでない限り、クローラを特定することができないと思いますよ。よって、「すべての」という要件を満たすことは不可能です。クローラ独特の仕様も多少はあるので、それを利用して独自にクローラ特定して、なんちゃって実装ならできると思います。
全ページに認証をかけ、アクセスした人の何かしらの操作で解除するとか？
「全ての」という前提を噛み砕いていかないと何とも言えない部分もありますが、WAFを導入すれば可能ですね。
5 件の回答
不可能ですね。IPアドレスやホスト名だけでそれがロボットか否かがわかりません。個人のグローバルIPでもロボットみたいな動作はできるわけですから（スクレイピングなどで）
2さんとかぶるけど、公言してるものでない限り、クローラを特定することができないと思いますよ。
よって、「すべての」という要件を満たすことは不可能です。
クローラ独特の仕様も多少はあるので、それを利用して独自にクローラ特定して、なんちゃって実装ならできると思います。
全ページに認証をかけ、アクセスした人の何かしらの操作で解除するとか？
「全ての」という前提を噛み砕いていかないと何とも言えない部分もありますが、
WAFを導入すれば可能ですね。