网站URL分析

网站地图Sitemap制作软件的最新版本改名为网站URL分析软件,这是全新的版本,云端任务,无需人员值守在电脑面前。无需担心浏览器大量内存的占用导致崩溃。目前云端版本支持自定义任务线程,能够更快速的完成网站地图的制作。

网站URL分析软件采用多任务、多线程的方式进行网站URL分析,因此部分网站可能需要添加咱们的服务器IP白名单182.61.38.244,防止误封。

网站URL分析软件十大特性
  1. URL长度控制
    对于网站部分过长的URL,可以过滤,仅抓取指定长度内的URL
  2. 按目录过滤
    新加功能,支持过滤指定目录,请一定一 / 作为开头
  3. 按后缀过滤
  4. 按关键词过滤
  5. 按nofollow过滤
    主要是过滤带有 rel属性的a标签
  6. 严格模式
    比如:www.webkk.net/sitemap 在非严格模式下 会跳转到www.webkk.net/sitemap/
    严格模式是很有用的参数,用户可自行决定是否启用严格模式
  7. 自定义抓取线程
    抓取线程请根据自身网站的情况进行设置,设置过大对网站造成严重的压力,最大一个任务支持6线程。
  8. 自动向百度提交链接
    用户在下发任务时,支持自动将抓取到的URL提交至百度。
  9. 支持xml、csv、html、txt等格式的文件下载
  10. 按正常URL、HTTP状态异常等url类型生成文件

文档反馈

登陆后的视界更精彩哦 登陆