如何对搜索引擎(如百度、谷歌、360搜索、搜狗等)爬虫蜘蛛进行直连设置

我们知道,使用类知道创宇云安全服务后,所有的网民(包括浏览器访问、爬虫访问)会先访问到云安全节点,然后云安全节点经过加速、安全检查后,再将数据返回给网民。很多时候,网站管理员希望搜索引擎爬虫直接与网站真实服务器连接,不要对爬虫做任何安全检查和加速,直接从源服务器获取最新内容。

上述需求,可以通过云安全的智能DNS功能实现,如图:

b465b3e3-899d-443d-899a-e42b66e05b64

在上图中,我们对某个域名的www,在搜索引擎线路采取的是回源模式,而对默认线路(其它线路)设置的云端模式。

这样搜索引擎访问的时候,访问过程将为:搜索引擎IP《——– 》 网站服务器(52.*.*.29)。

而除过搜索引擎外,其它IP访问时,过程如:网民IP 《—–安全检查与加速—– 》 云安全节点 《——– 》 网站服务器(52.*.*.29)

注意:如果您的网站接入云安全主要是为了完全隐藏源站IP,请不要设置搜索引擎回源(因为搜索引擎IP是可以由客户端伪造的)