アカウント名:
パスワード:
普通のブラウザを使ってクローニングされたら全く今までと同じようにscにクロールされちゃうんだけどそれはどうするの?ブラウザからのアクセスを弾くわけにもいかないでしょ?
API以外への連続アクセスや転送量の多いホスト弾くぐらいじゃね
ボットネットを使った分散処理とマージでなんとかなりそう。
そこまでするメリットがないのはおいといて。
iOS は審査的に難しいかもしれないけど Android のバックグラウンドで自動的に 2ch.net の HTML を取得しそれをパースもしくは dat 化してクラウドもしくは特定のサーバにアップされるアプリが出来るに 2hpa
各自取得したHTMLをdat化してクラウド共有化する仕組み作れば回避できそうですが。やる人居ないでしょうね運営がアクセス権を完全制御するって宣言した訳なんで、後は裁判でって事ですからね
早速、ブラウザからアクセスしてdatを習得するプログラムのテスト版が作られていますね。ソース付きなので解析は楽ですけれど、対策できるのでしょうか。
見た目は変わらないけど、毎回HTML構造がランダムで変化するとか。
# 今度はOCR経由解析が流行る(適当)
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
目玉の数さえ十分あれば、どんなバグも深刻ではない -- Eric Raymond
ウェブスクレイピング禁止はどうするの? (スコア:0)
普通のブラウザを使ってクローニングされたら全く今までと同じようにscにクロールされちゃうんだけどそれはどうするの?
ブラウザからのアクセスを弾くわけにもいかないでしょ?
Re: (スコア:0)
API以外への連続アクセスや転送量の多いホスト弾くぐらいじゃね
Re: (スコア:0)
ボットネットを使った分散処理とマージでなんとかなりそう。
そこまでするメリットがないのはおいといて。
Re: (スコア:0)
iOS は審査的に難しいかもしれないけど Android のバックグラウンドで
自動的に 2ch.net の HTML を取得しそれをパースもしくは dat 化して
クラウドもしくは特定のサーバにアップされるアプリが出来るに 2hpa
Re: (スコア:0)
各自取得したHTMLをdat化してクラウド共有化する仕組み作れば回避できそうですが。やる人居ないでしょうね
運営がアクセス権を完全制御するって宣言した訳なんで、後は裁判でって事ですからね
Re: (スコア:0)
早速、ブラウザからアクセスしてdatを習得するプログラムのテスト版が作られていますね。
ソース付きなので解析は楽ですけれど、対策できるのでしょうか。
Re:ウェブスクレイピング禁止はどうするの? (スコア:1)
見た目は変わらないけど、毎回HTML構造がランダムで変化するとか。
# 今度はOCR経由解析が流行る(適当)