鱼刺通用架构_代理注册v4.6

x4.6(2018-12-24)

支持设置是否禁止重定向

提取也支持了是否进行UTF8解码

优化代码缩小了核心体积

改善了配置项名称 补全了使用说明

*例程完美通用于代理注册(只要是代理注册基本都可以直接套用此模版)

*适合于新手(代码很容易看懂和修改扩展)

*稳定多线程(鱼刺线程池 你值得拥有)

*界面设计合理可扩展(*支持运行中修改配置参数 *暂停/继续 *中途停止 *日志输出和保存到本地)

*代理智能提取(代理快用完自动智能提取补充 工作不暂停极大提升效率)

*启动后依然可以继续修改配置文件`Config_Proxy.ini`里的参数 (你可以一边修改 一边观察效果)

*支持可设置提取的代理可以被获取多次 (一条代理可以被使用多少次)

*支持可设置提取的代理最长有效时间 (可避免提太多 用太慢 导致最后一部分代理全是过期的)

——————————————–

Config_Proxy.ini 配置说明

触发补充阀值         : 当前剩余代理小于这个数值会触发自动提取并验证补充代理(0=自动(本次提取数量\5+5且>=5))

提取地址             : 用于提取代理的API地址

提取分隔符           : 提取后用这个分隔符来分割成多条 默认=\\r\\n(换行符)有的linux服务器可能会\\n作为换行符 (本参数也支持正则匹配)

是否正则分割         : 是否使用正则匹配 1=使用正则匹配(正则必须包含两个子匹配项1为地址2为端口) 0=使用分割文本匹配

提取是否UTF8解码     : 提取代理返回的网页内容是否进行UTF8解码 1=解码 0=不解码(默认)

提取是否禁止重定向   : 提取代理时是否禁止HTTP重定向 1=禁止 0=允许(默认)

提取自定义附加协议头 : 提取代理时自定义附加的HTTP协议头 默认=空(默认协议头) 注意:如果要提供多行协议头请使用 \\r\\n 代替 #换行符 进行隔开

提取间隔             : 两次提取最小间隔(毫秒) 为了防止提取API接口限制提取频繁冻结 默认=1000(1秒)

—————-

验证地址             : 用于验证代理是否有效的url 比如IP138 又比如百度  |如果想不验证提取的代理直接使用 请设置为:不验证

验证特征             : 验证代理URL返回的内容里存在这个特征既是有效(比如验证地址是(百度) 特征可以是'百度一下')

验证是否UTF8解码     : 验证代理返回的网页内容是否进行UTF8解码 1=解码 0=不解码(默认)

验证是否禁止重定向   : 验证代理时是否禁止HTTP重定向 1=禁止 0=允许(默认)

验证自定义附加协议头 : 验证代理时自定义附加的HTTP协议头 默认=空(默认协议头) 注意:如果要提供多行协议头请使用 \\r\\n 代替 #换行符 进行隔开

验证超时             : 验证代理超时 默认=12 (秒)

尝试验证次数         : 尝试验证次数 默认=1 (次)

代理生命值           : 提取的代理能被获取几次 默认=1 (次)  (比如采集东西的时候就可以设置10-50次)

代理最长存活时间     : 提取的代理最长存活时间 0=不启用(默认) 大于0=启用(秒) 提取的代理过了这个时间后 将不会被提取直接被丢弃

相关文件下载地址
©下载资源版权归作者所有;本站所有资源均来源于网络,仅供学习使用,请支持正版!

鱼刺通用架构_代理注册v4.6》有0个想法

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注