-
让品牌有温度、有情感
专注品牌策划15年
火车头怎么采集懒加载（火车头采集怎么用）
发布时间：2023-06-13 08:23:01
稿源：
创意岭 阅读：
111
大家好！今天让创意岭的小编来大家介绍下关于火车头怎么采集懒加载的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。
开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等
只需要输入关键词，就能返回你想要的内容，有小程序、在线网页版、PC客户端和批量生成器
问友Ai官网：https://ai.de1919.com。
本文目录:
火车头采集器怎么用
作为同时使用八爪鱼采集器和写爬虫的非技术的莫名其妙喜欢自己琢磨技术的互联网运营喵。。。我来谈谈心得感想。八爪鱼有一些优势，比如学习成本低，可视化流程，快速搭建采集系统。能直接导出excel文件和导出到数据库中。降低采集成本，云采集提供10个节点，也能省事不少。
不好的地方就是，即使看似很简单了，而且还有更傻瓜化的smart模式，但是里面的坑只有用的多的人才清楚。关于这个我在我的博客里简单写了写，不过说实话心得太多，还没仔细整理。
首先里面的循环都是xpath元素定位，如果用单纯的傻瓜化点击定位的话，很死板，大批量采集页面的时候很容易出错。另外用这个工具的，因为方便，小白太多，成天有人问普通问题，他们都不会看页面结构，也不懂xpath，很容易出现采集不全，无限翻页等问题。
但是八爪鱼采集器的ajax加载，模拟手机页面，过滤广告，滚动至页面底端等功能堪称神器，一个勾选就能搞定。写代码很麻烦的，实现这些功能费劲。
八爪鱼毕竟只是工具，自由度肯定完败编程。胜在方便，快速，低成本。
八爪鱼判断语录较弱，无法进行复杂判断，也无法执行复杂逻辑。还有就是八爪鱼只有企业版才能解决验证码问题，一般版本无法接入打码平台。
还有一点就是没有ocr功能，58同城和赶集网采集的电话号码都是图片格式，python可以用开源图像识别库解决，对接进去识别便可。
除非对技术有很高要求，否则我觉得八爪鱼采集器很好用，比火车采集器好用，虽然效率没那么高，但是比起费劲学习和研究数据包，还是用这个省事。我没事也会在八爪鱼群里解答一些规则编制的问题。
作者：极客兔子
来源：知乎
火车头如何采集还有缩略图的文章呢
1、首先在采集列表页的源码中将带有缩略图的那部分源码复制下来，如图：
2、查看网站的源码，找到这行代码，如图：
3、打开火车头，进入采集网址规则—添加多级网址采集规则，选中手动填写链接地址规则，并将第二步骤中选中的代码粘贴进去，如图：
4、将代码进行如下修改：
5、改好后保存并进行采集测试，如图所示
6、然后再在采集内容规则里进行修改，选中“缩略图”标签，打开，进行内容替换，如图：
7、然后点击文件下载，选中下载图片，并填好缩略图保存路径及命名方式，如图：
8、在“文件保存及部分高级设置”里设定缩略图的保存盘符及其前缀，我设定为桌面，前缀为“./”，如图：
9、我们保存后测试一下，一起顺利，缩略图顺利采集下来了
是最近版本的吗？
火车头采集器怎么用？
软件程序的获取：
大家可以从百度中搜索“火车头采集器”，并进入对应官方来获取程序的最新版本下载地址。当然也可以从小编所提供的网盘地址中获取最新版本程序：
请点击输入图片描述
请点击输入图片描述
2
安装并运行“火车头采集器”程序，在弹出的登陆界面中直接点击“登陆”按钮就可以以免费版身份登陆。
请点击输入图片描述
3
在程序主界面中，点击“新建”下拉箭头，从中选择“任务”项。
请点击输入图片描述
4
在弹出的窗口中，输入“任务名”，同时点击“起始网址”栏目右侧的“添加”按钮。
请点击输入图片描述
5
接下来就极为重要的一步，就是对要进行采集的网站进行分板，对所采取的网站中各片文章的URL进行综合分析并找出规律，最后按如图进行填写。
请点击输入图片描述
6
然后切换至“第二步：采集内容规则”选项卡中，我们需要对网页内容进行分板。在此以“搜狗浏览器”为例，右击要进行分析的网页，从弹出的菜单中选择“审查元素”项。
请点击输入图片描述
7
在“开发式模式”界面中，点击“选择页面中的一个元素去透视”按钮，接着点击“标题”内容，此时就可以在“开发者”窗口中显示标题所对应的标签，此例为“h2"。
请点击输入图片描述
8
接下来在”采集内容规则“界面中，点击“添加”按钮来添加“标题”项，或者直接双击“标题”项进行修改。在弹出的界面中，勾选”前后截取“，将设置前后辍分别为"<h2>“、”</h2>".
请点击输入图片描述
9
利用同样的方法添加其它采集内容的规则。
切换至“第三步：发布内容设置”选项卡，勾选“启用 方式二”，并进行如图设置。
请点击输入图片描述
10
最后从任务列表中，勾选要采集的内容，点击“开始”按钮就可以按规则采集网站中的网页内容啦。
请点击输入图片描述
如果还有啥问题，请留言或者私信，如果回答的还算可以，请列为最佳答案
火车头如何自动采集
说下我做采集的方式哈，我这边主要有两种方式，第一个，常规站点，内容很全，那就先找一个采集源，然后爬取整站数据，注意，这种方式，如果源站小说比较多的话，会非常耗时，按火车头十个进程来计算的话，一个进程可以开十个线程，也就是一个火车头最多可以跑100个线程，平均采集一章大概时间为1秒（加上列表采集所耗时间进行平均），10万本书的站，大概5000万加的章节，数据采集完毕大概需要一周时间，这是在你服务器配置比较好的情况下。然后就是发布，发布不能多线程，那么时间就得翻倍，也就是差不多两个多月时间吧。这也是为什么有人说火车采集小说比较慢的原因了。原始内容采集完了，然后每天就采集更新了，方式如第二点。那么第二个，就是直接采集每日更新，以前的旧书就不采集了。这样的话，速度会比较快。当时就能用。火车头设置好定时任务，自动触发。
这是火车头采集小说网站的传统方式。
我研究火车头采集一个月，找到一个比较合适的快速采集方式，经多方位，多客户测试，采集10万本书，发布完毕，大概就是两天的时间。
具体时间跟服务器配置有一定的关系，比如，硬盘读写速度快慢、网络带宽(火车头放在服务器上的可以忽略)等，测试2H4G美国服务器，10万本大概两天加几个小时，采集需要花几个小时，发布大概接近两天时间。然后每日定时更新即可。
可百度搜索“九七阅读”查看站点，有书库频道，时间一看就知道了。
以上就是关于火车头怎么采集懒加载相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。
推荐阅读：
赣公网安备 50019002502384号
