最近被亚马逊和facebook的爬虫爬的很痛苦，跟DDOS攻击一样，网站全面崩溃。。。
它官方不是说会遵守robots.txt协议的，都加上去超过24小时了，还在爬。
为了自己训练AI到处乱爬，小网站的命不是命了吗！！！
亚马逊爬虫Amazonbot这么不要脸，不遵守robots.txt协议规则！！
Hide content, please view after pay points
90 people have viewed
Hide content, please view after pay
௹
86 people have viewed
Hidden content, only available to the following user groups
Hide content, please view after login
Login to view hidden content
Hide content, please view after comment
Please leave a comment below before view the hidden content
Hidden content, read after adding Circle
You need to join Circle before you can view the post content
You guessed the answer correctly, here is the hidden message shown to you:
[]
[௹]
to
Ask：
Hidden content, view after guessing the right answer
Guess wrongly: You have selected "", the correct answer is ""!
-
+PLAY
Loading...
Multiple
Single
PK
·selected
selected·
View the results after voting, your choice is？
Thanks for your vote
Popular Comment
:
Comments on this post are closed
Comment
-
Read the remaining of responses Loading...
-
No comment？
Please Login First！
Photo review in progress...
![]()
To answer questions after logging in！
Edited answer：
My answer：
Upload up to one picture and one file
x
More For You
同样是7b2主题，有人在研究页面美化，瓜5网在研究搜索体验！
瓜5网的页面很素，白底黑字，带点红色按钮，感觉这样就很好。 ... Read More
俺突然不想让百度蜘蛛爬我的网站了
收录又没收录，权重又没权重，爬来爬去还占我服务器资源，把俺网... Read More
网站610、611、614是什么错误？
用阿里云的网络拨测，部分城市有上方的错误，一般这都是阿里云自... Read More
奇怪了，必应不收录美女的相关内容页面
有做网站不妨研究一下这一点，一天打10条内容，其中有美女图片... Read More
小红书和花瓣这类的瀑布流图片网站都不吃搜索引擎流量了
用site:命令搜索了xiaohongshu.com和hua... Read More
给个建议:做英文网站不要做百科网站，维基百科的护城河很宽
维基百科全球用户免费编辑，公平公正，和Google一样用户挑... Read More
大多数做资源网站都是国外注册域名用香港这些海外服务器的吧
搜了下WordPress某主题开心版下载，通过Whois查询... Read More
我是真想知道52pojie是Discuz的哪个版本，好像不是X系列的
因为吾爱破解是我见过用Discuz论坛程序做的权重最高的网站... Read More
AI时代互联网将洗牌重组，做网站是很难赚到钱了啊
有了AI不就不需要知识类的网站了，做网站难赚钱了，而且百度都... Read More
网站太多，忙不过来，内容根本发不过来！
唉，实在是太多网站了，刚才随便搜一个我的站点，已经5个月没发... Read More
全网都找不到35Dir手机版的源码，求一份
分类目录其实最好的内核还是35dir，虽然wordpress... Read More
最近必应不收录新网站了怎么回事，和zibll这主题也没关系啊
上周用子比做了两个新网站，原创内容也做了，还在bing站长平... Read More
好像Bing不准备收录的页面就显示无法解析？
在Bing站长平台，检测URL，有几条显示无法解析的，然后已... Read More
很好奇你们搞那种采集一堆字典古诗网站干啥，这都能赚到钱的吗？
做那种汉语文学类的，字典、古诗、故事啥的网站，还有英语单词，... Read More
做网站最好不要考虑换域名，SegmentFault思否这么难寄的都一直用
说起SegmentFault 思否这个网站，确实也算是个神奇... Read More
我发现搜狗没有关键词指数，权重也不更新了！
QQ浏览器这么大的流量，默认搜索引擎就是搜狗，在搜狗搜索De... Read More
网站被微信和QQ浏览器拦截？正确做法是卸载！
也难怪现在都喜欢自己开发成app，做个网站发几张长得好看的美... Read More
想出售一个双拼二级域名，moupen.com有没有看上的
注册不到一年，可以做AI之类的网站，或者是金点子之类的，拼音... Read More
现在还有人做淘客网站赚钱的吗？真的还有人会逛淘客平台？
有买一个smzdg主题，一直没怎么做，我是觉得没什么逛淘客社... Read More
现在站长交流社区论坛还比较热闹的估计就4414了
首先界面就做的很清新脱俗，然后就是对于发布内容门槛比较低，很... Read More
