增加采集节点：每个系统模型都有自己单独的采集_帝国CMS教程

当前位置： >>图文专栏 >>网站技术 >>帝国CMS教程 >>

增加采集节点：每个系统模型都有自己单独的采集

发布时间：2021-06-21 编辑：√無∑情— 内容来源：收集于网络

信息采集：每个系统模型都有自己单独的采集，无论是系统内置还是用户自定义系统模型。

采集正则就是指在要采集的地方加上相应的字段变量即可，如：“<a href="[!--newsurl--]">”。

下面介绍下采集节点的增加：

1、登陆后台－》“栏目管理”－》“增加采集节点”，如下图：

2、第二步选择要增加采集的栏目，如下图：

说明：如果是采集节点选择的栏目必须是终极栏目，否则当节点分类使用。

3、进入“增加采集节点”界面，如下图。

说明：上一步选择不同系统模型的栏目，下面显示的表单均不同。新闻系统有自己的采集表单，FLASH系统有自己的采集表单等等。

基本信息
节点名称	此节点的名称
父节点	可选择上级节点，主要方便管理，比如你可以把所有新闻的采集都归到一个父节点里。
采集页面地址	要采集的页面列表，如果是多个列表用回车格开。
采集页面地址方式二	由系统自己生成列表，但必须是有数字规律的。
采集页面地址方式二	如:“http://www.phome.net/index.php?page=[page]”([page]则为页码的范围)
内容页地址前缀	信息页链接的地址前缀。如地址前面没域名的话，系统会加上此前缀。如：http://www.phome.net+/news/2006/1.html
图片/FLASH地址前缀	新闻内容的图片/FLASH地址为相对地址时使用。(针对newstext字段)
入库栏目	采集的数据要入库的栏目。如本节点不是采集节点，请不选。(只列出属于此系统模型的栏目)
入库专题	采集的数据要入库的专题。
节点生效时间	“开始时间”与“结束时间”这个目前可随意设置。这主要是以后版本扩展之用。
备注	备注或说明
选项
默认相关关键字	截取标题前几个字符作为相关链接的“关键字”，推荐设为0，这样入库效率更高。
采集记录数	可设置只采集前多少条记录。（"0"为不限，系统会从头采到页面尾）
远程保存图片到本地	选择后入库时系统会远程保存图片到本地，还可设置是否加水印。(针对newstext字段)
远程保存FLASH到本地	选择后入库时系统会远程保存FLASH到本地。(针对newstext字段)
每组列表采集个数	采集列表页每组记录数，单采集列表页请填1。
每组信息采集个数	采集信息页数据每组记录数
每组入库数	如果要远程保存图片/FLASH则请设小，如设为1。（为防止入库超时，系统推荐将php的超时设为360以上）
附加选项
页面编码转换	可设置将UTF-8的页面转GBK编码，需要ICONV组件支持。通常不需要设置。
是否重复采集同一链接	可设置同一链接是否重复采集。
是否隐藏已导入的信息	推荐选隐藏。否则入库后的记录依然会显示到入库列表里。
采集后自动入库	可设置采集后自动入库，不需要人工去入库。但有可能入库超时中断。
采集后自动入库	入库后自动删除已导入的信息：入库后同时删除备份的验证记录。
整体页面过滤正则	格式：“广告开始[!--pad--]广告结束”。多个可用“,”格开。
整体页面过滤正则	针对整个页面代码进行过滤。
过滤选项
采集关键字	标题包含关键字的信息才会采集。如不限制，请留空。多个请用","格开
替换	原字符多个请用","格开,如果是新字符是多个，可以用","格开，系统会一一对应进行替换。
替换	(针对标题与内容)
过滤广告正则	格式：“广告开始[!--ad--]广告结束”，多个请用","格开。（针对newstext字段）
过滤相似	可设置不采集标题相似超过多少个字符的信息。如不限制请填"0"。
过滤相似	可设置不采集标题完全相同的信息
截取内容简介	如果信息简介(smalltext)没有值的话，系统会依此设置截取新闻内容(newstext)多少字符作为简介。
列表页正则
信息链接区域正则	通常不需要设置。一般是设置只采集页面某一区域的链接或缩小采集范围才设置的
信息链接区域正则	在要采集链接区域的代码地方加上“[!--smallurl--]”
信息页链接正则	采集“内容页链接”的正则（列表页里）
信息页链接正则	在信息页链接的地方加上“[!--newsurl--]”
标题图片正则	采集“标题图片地址”的正则，可设置远程保存与地址前缀（列表页里，如图片在内容页，请留空）
标题图片正则	在标题图片地址的地方加上“[!--titlepic--]”
内容页分页采集设置:(如没有分页请留空,针对newstext字段)
说明：如果是全部列表式，则只需看第一页的页面正则。
分页形式	有“上下页导航式”与“全部列出式”两种形式
"上下页导航"式正则设置	分页区域正则([!--smallpagezz--])
"上下页导航"式正则设置	分页链接正则([!--pagezz--])
"全部列出"式正则设置	分页区域正则([!--smallpageallzz--])
"全部列出"式正则设置	分页链接正则([!--pageallzz--])