抓取网址的数量上限
您的许可指定了您可以抓取的网址的上限。 不过,如果您的网址尚未达到许可所规定的上限,您可以为想要抓取的网址指定较小的数量上限。 如果您输入的数字小于许可指定的总页数上限,您可以提高系统性能。 在您点击保存时间表和主机负载按钮后,系统最多比您指定数量多抓取约 10% 的内容。 系统抓取的网址要稍微多一些,这样在清除重复后,页数与您指定的上限将非常接近。
请注意: 如果您将此框保留为空,系统将不断抓取网址,直至达到您的许可的上限。
网络服务器主机负载
网络服务器主机负载值指定了在各个网络服务器上为进行抓取建立的并行连接的个数上限。 我们建议您从 4 个连接开始,只有当确信您的网络服务器能够处理您指定的负载时再逐渐提高该值。 如果您无法确定网络服务器的负载能力,请与您所抓取网站的网站管理员联系。
对于文件服务器和对于代理服务器后面的网络服务器,设备处理主机负载的方式有所不同。 在这些情况下,设备会将多个服务器视为单一主机,并将一个主机负载设置应用于所有服务器。 例如,如果在有 10 个文件服务器的环境中将主机负载设置为 4,那么一次最多只能连接四个服务器,按抓取队列指定的顺序对全部 10 个服务器进行抓取。
警告: 一些服务器可能无法处理高负载。
如果抓取工具认定服务器不能处理定义的主机负载,它将降低抓取速率,直到达到可接受的响应时间为止。
请注意: 并行连接的数量偶尔可能低于您在此指定的值,这取决于您的系统行为。 系统会尽力保持这个数量。
网络服务器主机负载例外
网络服务器主机负载例外使您通过为指定的网络服务器分配不同的主机负载上限来指定网络服务器主机负载例外。 在您没有指定主机负载例外的时间段中,将应用默认的网络服务器主机负载。例如,您可能有三个网络服务器,它们可以在夜间处理更多的抓取负载。 对于这三台网络服务器,从晚上 12 点到早晨 6 点设置的默认主机负载为 4,而您可以指定一个比 4 高的负载。
要尽可能减少服务器在日间的主机负载,可以对从上午 9:00 至下午 5:00 这一时间段设置例外值 0,这样服务器将不能处理额外负载。
您输入的主机名应该是完全限定的主机名,可以为 ASCII 或 IP 地址。
当使用代理抓取网站时,将使用相同的主机负载来抓取代理后面的所有网站。 所用的主机负载将是针对使用代理抓取的所有网址格式指定的主机负载上限。 您应该执行以下操作中的一项操作:
- 对您想使用代理来抓取的网站不指定主机负载,这种情况下会使用主机负载上限
- 指定足够小的主机负载以不影响任何代理站点的性能
以下规则也适用于本页上的条目:
- 每行只允许有一个主机名条目
- 主机负载为零 (0) 并不会完全停止抓取,而只是将与主机的接触次数减少为每小时大约三次
- 您可以将负载系数指定为小数值。 例如,0.5、1 或 2.0
值 2 表示,平均每个主机只使用两个并行连接。 值 .25 表示,平均只有 25% 的时间在使用与网络服务器的连接。
相关推荐
Installing the Google Search Appliance.pdf Installing the Google Search Appliance.pdf Installing the Google Search Appliance.pdf Installing the Google Search Appliance.pdf Installing the Google Search...
ccs容器基于Apache Solr的Cisco Config Search Appliance(Docker Image)概述ccs-container是一个即用型Docker映像,用于索引和搜索基于Cisco的企业(或家庭)网络的配置。 它提供了以下用户界面: 这是什么意思,...
一个Java库,作为Google Search Appliance的搜索协议XML API的包装。 XML API可从以下网址公开获得:http://code.google.com/gsa_apis/xml_reference.html此项目的主页和教程位于:http://gsa-japi.sf.net
java4gsa 用于搜索Google Search Appliance(GSA)的开源Java API
Google Apps 脚本 - GSA(Google Search Appliance)代理 在您的帐户中创建一个新脚本 新建一个脚本文件,复制里面的gsa-json-proxy.js的内容。 使用您的设置 GSA_URL 运行“测试”功能以启用权限 发布为 Web 应用...
Google Search Appliance - JSON 前端 XSLT 中的这个 JSON 生成器专门用于匹配 GSP 格式 XML,该格式生成为许多搜索实现的通用格式。 JSON 将所有内容包装在一个主节点“GSP”中,然后通过将这些(如果存在)包装在...
vCenter Server Appliance 6.7 全系列
Practical Oracle Database Appliance Description: Practical Oracle Database Appliance is a hands-on book taking you through the components and implementation of the Oracle Database Appliance. Learn ...
VSA 虚拟机在多个 ESXi 主机上运行,可对主机上安装的存储资源进行抽象并创建 vSphere Storage Appliance 群集(VSA 群集)。 VSA 群集利用多个 ESXi 主机的计算和存储资源,并提供一组可由数据中心中的所有主机访问...
GSA Ruby宝石通过单行进纸,搜索和刻面,快速,轻松地利用GSA索引功能。安装 gem install gsa默认端口默认端口设置为安全端口19902 要将端口更改为http,请将feed扩展名设置为以下... 15 , brand : 'BazBrand' }] 2.)
VMware vCenter Server Appliance 6.5 安装部署和升级
Veritas NetBackup 5250 Appliance
VMware vSphere Storage Appliance 安装和管理.pdf
vRealize-Operations-Manager-Appliance-8.1.1.16522874_OVF10.ova
借助价格合理且易于管理的解决方案——McAfee Email and Web Security Appliance,可以保护您的企业免遭垃圾邮件、病毒、间谍软件、恶意网站的侵扰,同时还能防止不当的网上浏览行为。它是代替单点电子邮件和Web安全...
NetBackup 9.1.0.1 Application Guide for Flex Appliance 2.1
kiwi, KIWI—Appliance生成器下一代 KIWI --下一代 KIWI,操作系统映像和设备生成器。 安装工具 。文档文档如果这个项目减少了你的开发时间自由购买我一个 Coffee 。
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。...
VMware-vCenter-Server-Appliance-6.5.0.14000-7515524-updaterepo