正文

火车头采集规则详细教程（火车头采集规则详细教程视频）

发布时间：2023-05-28 13:56:16 稿源：创意岭阅读： 101

大家好！今天让创意岭的小编来大家介绍下关于火车头采集规则详细教程的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，有小程序、在线网页版、PC客户端和批量生成器

问友Ai官网：https://ai.de1919.com。

本文目录:

飞飞火车头采集器怎么写发布规则
火车头采集器怎么采集今日头条文章？
火车头采集器怎么用？
火车头如何采集还有缩略图的文章呢

火车头采集规则详细教程（火车头采集规则详细教程视频）

飞飞火车头采集器怎么写发布规则

1
首先讲一讲网站结构，通常网站结构为树形结构，一个网站主要包以下几种页面：首页、栏目页、文章页，其结构如下图。
其次讲一讲火车头采集原理，火车头的运行需要一套规则来指定该如何采集所需数据，即需要编写火车头采集规则，编写采集规则也是新手最头痛的问题。
火车头采集器通常通过网址抓取网站返回的源代码，然后在源代码中提取需要的信息。因此，采集数据需要先采集网址，然后再采集数据。
2
下面开始编写采集规则：
运行LocoyPlatform.exe
3
在左侧“任务列表树”选择一个分组点击右键，选择“新建任务”弹出新建任务对话框。填写任务名，网站编码一般选择自动即可。
添加起始网址
填写“第一步：采集网址规则”这里需要按照网站的树形结构逐级获取下一级结构的网址，直至获取到内容页的网址。先填写起始网址，通常为目标站首页地址。点击“添加”，在单条网址处填上火车头博客的首页地址，然后依次点击“添加” ->“完成”。
编写“多级网址获取”规则
这里需要先在起始地址页面找到所有需要采集的栏目页的代码区域，先查看起始页地址的源码，找到如图所示代码区域：
点击右侧“添加”按钮打开“添加多级网址采集规则”，选择“从页面自动分析得到地址链接”单选按钮，在下面“从该选定区域中提取网址”，“从”（左侧）文本框填上栏目地址代码区域开始之前的标志性代码（要保证其在该页的唯一性），“到”右侧文本框填上栏目地址代码区域结束之后的标志性代码，在“结果网址过滤”的“必须包含”和“不得包含”文本框填上相应代码，如果该区域没有多余的链接不需要过滤，可以不填，这里的栏目页网址必须包含“category-”。然后点击“保存”返回。
现在需要获取内容页的地址。先打开栏目页查看源码，查找内容页地址存在的区域及地址规律。按照上一步的方法先填写内容页所在区域的起始和结束标志性代码，然后分析这个区域中包含的链接与我们说需要的内容页地址链接规律，添加过滤代码。这里起始代码为“”，结束代码为“<div class="page" style="float:right">”过滤代码为必须包含“read-”不得包含“#”。如图：
需要注意的是这里文章比较多会有很多分页，所以需要填写“列表分页获取”规则。通常只需要指定分页代码的区域，如有必要可以填写“组合生成列表页分页”规则。这里的列表分页规则其实代码为“<li class="pageNumber">”，结束代码为“title="下一页">”。如果勾选“自动识别分页”的话，会自动提取a标签的href属性，如果不勾选自动识别的话，需要填写组合生成列表页分页”规则。
然后保存返回，可以通过“测试网址采集”来测试规则是否正确，不正确可以返回修改规则，正确的话可以开始编写“第二步采集内容规则”。
编写“第二步采集内容规则”
先打开内容页以及内容页的源码，找到需要提取的信息的前后代码特征。以提取标题和内容为例。首先复制文章标题，然后在源码中查看该标题出现的几处地方，找一处前后代码在每一篇文章都一样的地方，该例共出现了3处，第二处的代码没有其他干扰代码。点击“添加”，标签名填“标题”，提取数据方式选择前后截取，前后代码分别为“<h1 class="ContentTitle"><strong>”和“</strong></h1>”。如果采集的内容需要作进一步处理（如替换删除编码转换过滤html等），在下方“数据处理”点击添加填写相应规则。
再添加一个标签，标签名为“内容”，按照上述方法填写内容的前后代码片段，需要注意的是，前后代码片段最好不要出现不完整的标签（如：“<div class="Content-body"” 应该写作“<div class="Content-body">”，一个完整的标签应该是以“<”开始，以“>”结束，如果<>之间的内容在各个内容页有一部分不一样，将不一样的部分用（*）代替即可），否则提取的内容会包含部分不完整的标签。通常正文包含的HTML会比较多，可以添加HTML过滤功能，建议仅保留段落（p）、图片（img）、换行（br）等标签。
测试内容采集规则
保存规则后返回采集内容规则页面，在右侧“规则测试”的典型页面文本框填上一个内容页的地址，然后点击测试，如果下面显示到的内容符合预期说明可以了，如果未获取到内容或者获取到内容不正确，返回检查并修改规则。
开始采集
选择要采集的任务规则，勾选“采网址”和“采内容”复选框，点击工具栏“开始”按钮。
后续工作
采集到的数据保存在数据库，可以通过在任务名上点右键，选择“打开DATA下任务文件夹”打开数据库所在位置，该数据库可以通过ACCESS打开和编辑。如果想要重新采集，需要通过右键选择“清空该任务网址库”和“清空任务所有采集数据”。

火车头采集器怎么采集今日头条文章？

第一步采集网址，下载好火车头采集器后打开，新建一个任务，任务名随意。把需要采集的网站文章列表页网址添加到起始网址。从图中看出该列表页有34页，每页有N篇文章。
2
列表页会一级网址，添加多级网址获取，从而获取二级网址（文章页网址）
设置列表分页获取，3个地方分别是：分页源代码前面和后面还有中间位置。这一步用于获取列表页面链接，因为有34个列表页面。设置完保存。
网址获取选项，这一步用于获取列表页上面文章页的链接，根据自己需要设置需要截取的部分和根据网址的结构设置包含与不包含某些字符。为空即没限制，设置完保存。
设置好链接采集规则后，可以测试网址，看测试结果调整规则。看图可以看到采集链接规则从起始链接到全面列表页再到列表页上的文章页链接都已经成功采集。
第二步是采集内容，首先修改标题规则，在页面源代码里面找到标题的代码，把标题前后代码负责过去截取出标题。保存。
修改内容采集规则，跟标题规则差不多，也是源代码里面找到内容的前后代码。这里内容会有一些其他html标签，所以得添加一个html标签排除的规则。
完成后，测试看一下结果，从测试结果来调试规则，直到测试结果是自己想要的内容为止。
第三步是采集导出。前面1、2两步把规则设置好，最后就要把文章导出了。先做一个导出的模版。
然后选择方式二,把每一篇文章都分别记录到一个txt文本,保存位置自己选择,模板选择刚刚做好的导出模版.保存的文件名用文章标题为命名。其他默认，保存。
把采集网址，采集内容，发布3个选项框都勾选，然后开始采集。完成后文本就自动生成在刚刚保存的文件夹里面了。
火车头采集器采集文章教程到此就完成了，由于每个网站都是不一样的，所以这里只能用一个网站演示，只是一个方法思路，自己采集文章还需要灵活变通。追问

这样复杂粘贴有意思吗？

火车头采集器怎么用？

软件程序的获取：

大家可以从百度中搜索“火车头采集器”，并进入对应官方来获取程序的最新版本下载地址。当然也可以从小编所提供的网盘地址中获取最新版本程序：

请点击输入图片描述

安装并运行“火车头采集器”程序，在弹出的登陆界面中直接点击“登陆”按钮就可以以免费版身份登陆。

请点击输入图片描述

在程序主界面中，点击“新建”下拉箭头，从中选择“任务”项。

请点击输入图片描述

在弹出的窗口中，输入“任务名”，同时点击“起始网址”栏目右侧的“添加”按钮。

请点击输入图片描述

接下来就极为重要的一步，就是对要进行采集的网站进行分板，对所采取的网站中各片文章的URL进行综合分析并找出规律，最后按如图进行填写。