八爪鱼企业版介绍以及与线上版本区别
八爪鱼企业版介绍以及与线上版本区别-25页文档资料
01. 企业版介绍 02. 企业版与线上版本区别 03. 案例分享
概述
八爪鱼是国内领先的互联网数据收集平台，可简单快速地将 网页数据转化为结构化数据，并且提供基于云计算的大数据 云采集解决方案，实现精准，高效，大规模的数据采集。 八爪鱼企业落地版，功能完备，并支持企业内网独立部署， 可永久授权。支持多用户管理和团队协作，支持二次开发， 支持更多定制需求。
服务端：服务端由下面几个子模块
ClientAgent ：为八爪鱼客户端提供专用的服务接口。 Server ：任务调度路由节点，负责将用户提交的云采集任务根据用户账号的不同 分配到不同的任务任务调度处理节点。管理整个云集群及提供集群管理接口。 DataAPI：提供直接通过API方式获取云采集数据的接口。 Passport：统一通行证服务，提供用户管理及用户身份验证相关接口。
现场支持
上门服务支持费用：差旅费实报实销，另外支付每人每天500元 上门服务费
1、以上报价已含3个点的软件增值税。 2、自在解决方案部署完成后，乙方提供完整的交付产物之日起，乙方为 甲方提供1年免费的维护与升级服务。 第二年起，甲方仍需要乙方提供维护与升级服务的按20000元/年的标准向乙方支付服务费。
ClientAgent CommandCenter
Server DataAPI Passport Server
机器2
SQLServer
机器3
MongoDB
机器4
云采集节点 Cloud(s)
企业版
01. 企业版功能 02. 企业版与线上版本区别 03. 案例分享
内网独立部署： 可以采集内网数据，数据存储在客户本地 主要客户—政府、高校、部分企业 硬件服务器、正版数据库均由客户提供
八爪鱼采集器新手入门必备的知识点(7.0版)
论坛
•免费版用户可以去论坛/提问，上面也会有专属客服回答问题的，论坛响 应时间一天以内。
八爪鱼采集原理
原理:
Ⅰ:模拟人的思维去浏览网页 Ⅱ:通过设计工作流程完成自动化数据采集 八爪鱼采集器是一款模拟人的思维去访问网页 文档的互联网数据采集器。通过设计工作流程，可以 实现采集的程序自动化，以达到快速的对网页数据进 行收集整合，完成用户数据采集的目的。
八爪鱼的规则配置流程模拟人的思维模式，贴合用户的操作习惯，任何人通过官网教程的学习都可以在30分钟内轻 松掌握全网数据采集的本领。
帮助渠道
八爪鱼官网
教程
•登陆，点击帮助和教程，里面包含了所有的使用教程。建议从新手入门1-7开 始，学会新手教程1-7就可采集互联网上80%的网站
客服系统
•登陆在用户中心-售后咨询或者客户端上的“联系客服”按钮向专属客服反应 问题，上班时间客服在线响应时间为5分钟以内。下班时间可以提交工单，客服上班之后会进行 回复。此服务为一对一服务。
QQ群
•私有云用户可以联系购买时的商务，商务会帮你直接建一个组分配专属客服解答问题 •专业版或旗舰用户可以直接添加VIP群，在群内咨询问题。每个VIP群都有专属客服，客服看到都 会回复大家。专业版群客服响应时间4个小时内，旗舰版群客服响应时间两个小时内 •旗舰版QQ群 1群:130849246 2群:286777906 3群:196097783 限旗舰版用户 •专业版QQ群 1群:475423041 2群:385161018 3群:135071723 限专业版用户
结语： 实践出真知，八爪鱼让数据触手可及
实战演练
一、打开网页:
打开网页，一般指我们所要采集数据的网站，正如平时我们浏 览该网站的数据信息时需要输入URL一样
八爪鱼企业版进阶教程
实战演练
1、执行前等待及URL循环 /b2b/main/listVendorNotice.html?noticeType= 2#this /b2b/main/listVendorNotice.html?noticeType= 7#this 2、文本输入及文本循环输入 3、循环切换下拉框并提取选中项文本 4、iframe框架 https:// 5、固定列表与不固定列表 6、特殊翻页 下一页死循环与循环次数 /ds/deal/dealList.jsp 教程链接： /tutorial?type=1&page=0&tag=%E7%8 9%B9%E6%AE%8A%E7%BF%BB%E9%A1%B5&version=other 7、正则表达式
高级设置-打开网页
基本信息：
•页面Url 打开网页的网址
高级选项：
•阻止弹窗 阻止弹出窗口 •使用循环 配合URL循环一起使用 •滚动页面 /meishi/c11/ 内置浏览器滚动次数与方式 •缓存设置 1.清除缓存 2.Cookie •激活重试 按条件尝试重新打开网页
移动鼠标到元素上
基本信息：
•元素 要移动鼠标到元素的基本信息
高级选项：
•执行前等待 流程步骤执行前等待时间 •或者出现元素 填写Xpath路径，配合执行前等待 一起使用 •使用循环 配合单个元素循环、不固定元素列 表、固定元素列表循环一起使用 •AJAX加载 页面自动刷新时间，AJAX超时为 其设置时间
切换下拉选项
基本信息：
•下拉框 下拉框的基本信息
高级选项：
•执行前等待 流程步骤执行前等待时间 •或者出现元素 填写Xpath路径，配合执行前等待 一起使用 •使用循环 配合单个元素循环、不固定元素列 表、固定元素列表循环一起使用 •AJAX加载 页面自动刷新时间，AJAX超时为 其设置时间
八爪鱼大数据产品以及团队介绍
——拓尔思总裁 施水才
我是一步步和他们一起成长起来的，八爪鱼的产品一直在完善，直到今 天它的用户体验已经做到输入一个网址，就能够找到你所需要的数据这 样简单，是非常了不起的过程。
——挚金资本·智金汇创始人 杨溢
八爪鱼的技术壁垒很强大，同时团队也不错，商业模式也新颖，这些都 成为了八爪鱼一路坚定发展的力量。
八爪鱼
省人 省硬件 省心
平均一个爬虫工程师12万/年 日均百万级数据采集硬件：5万/年起 运维成本，技术研发成本，研发时间
私有云：69800/年
• >20万每年
数据平台
数多多数据平台
100+细分行业数据类别 1000+数据服务商 数据买卖+数据定制+技术定制
专业数据接口
•微信数据接口 •poi地理位置数据接口 •其他行业数据接口
数据中心团队
•数据外包 •数据定制 •数据推送
数据分析
智能图标推荐
根据数据源特征，微图可以 智能给你推荐最合适的图表类型
灵活定义图标
•高度自定义图表设置与组合 •丰富的图表模板与分析模板 选择
智能文本挖掘
•智能机器学习 •深度文本挖掘 •结果一键呈现
应用场景
典型应用
政府舆情监控 行业分析
企业品牌舆情
你可以使用云采集满足多种场景的应用需 求，例如实现舆情监控、市场分析、精准 营销、产品研发、品牌监控、风险预测等 ，以大数据驱动决策。有了八爪鱼解决采 ቤተ መጻሕፍቲ ባይዱ难题，你只需要将精力放在数据价值本 身。
高效
品牌监控
云采集
精准营销
产品研发
八爪鱼企业版入门教程
结语： 实践出真知，八爪鱼让数据触手可及
ቤተ መጻሕፍቲ ባይዱ
Ajax加载与新标签页
Ajax即通过在后台与服务器进行少量数据交换，意味着可以在 不重新加载整个网页的情况下，对网页的某部分进行更新。 最简单的方式是看在八爪鱼浏览器里点击的时候网页有没有改 变加载状态 这种表示网页正在加载 这种表示网页没有加载或者已加载完成 当网页状态有发生改变的时候就不需要设置ajax，因为八爪鱼会自动根 据网页的状态来判断是否可以进行下一步操作 而当网页状态没有发生改变的时候就需要设置ajax，因为八爪鱼没有可 判断的依据，运行本地采集时八爪鱼就会按照一个默认时长120秒后再 执行下一个操作，这时大部分新用户会发现八爪鱼不动了一直不提取数 据，所以这时需要设置ajax告诉八爪鱼，需要采集的网页内容已经出来 了，可以进行下一步操作了，这个ajax时间就是要观察从点击到需要采 集的数据出现需要多久，则设置多久即可。 如果不设置采集时出现的现象就会一直等待在这里不提取数据，感觉采 集速度会很慢，设置了之后会加快速度。 前面说了一般网页设置ajax的目的是局部刷新，后台与服务器 进行少量数据交换，而新标签打开的意思是重新打开加载整个网页，一 般来说设置了ajax是不需要再开新标签的，请在设置ajax的时候把勾选 的新标签取消掉。
进阶步骤，是指除基本步骤外，我们需要通过下列操作来辅助完成我们的数据采集，进 阶步骤如下： 1）输入文字 3）切换下拉选项 5）移动鼠标到元素上 7）结束流程 2）识别验证码 4）判断条件 6）结束循环
高级模式
一、打开网页:
打开网页，一般指我们所要采集数据的网站，正如平时我们浏 览该网站的数据信息时需要输入URL一样
高级模式
流程设计步骤：
在八爪鱼采集器中，一共有11个流程设计操作，其中分为常用步骤和进阶步骤，划分为
八爪鱼信息采集器高频词汇
八爪鱼信息采集器高频词汇
【原创版】
目录
1.八爪鱼信息采集器的概述
2.高频词汇的定义和作用
3.八爪鱼信息采集器的高频词汇功能
4.如何使用八爪鱼信息采集器的高频词汇功能
5.八爪鱼信息采集器高频词汇的实际应用
正文
【八爪鱼信息采集器的概述】
八爪鱼信息采集器是一款功能强大的数据采集工具，可以帮助用户从网络上抓取所需的数据，如文本、图片、视频等。
它可以自动化地完成数据采集、处理和存储，大大提高了数据采集的效率。
【高频词汇的定义和作用】
高频词汇是指在一篇文章或一段文本中出现次数较多的词汇。
这些词汇往往能够反映出文本的主题和核心内容，对于文本分析和信息提取具有重要作用。
【八爪鱼信息采集器的高频词汇功能】
八爪鱼信息采集器具有高频词汇功能，可以在采集数据的同时，自动提取出文本中的高频词汇，帮助用户快速了解文本的主题和重点内容。
【如何使用八爪鱼信息采集器的高频词汇功能】
使用八爪鱼信息采集器的高频词汇功能非常简单，只需在设置中打开高频词汇选项，八爪鱼就会在采集数据时自动提取出高频词汇。
第1页共1页。
企业名录采集软件使用方法
企业名录采集软件使用方法八爪鱼·云采集服务平台八爪鱼·云采集服务平台目前许多人对企业名录采集有大量的需求，比如营销推广人员，企业名录的批量采集能很好地帮助他们快速定位合适的目标客户，减少大量的无效陌拜和电销，帮助他们提高做单成功率。
那么，什么是企业名录呢？如何采集？企业名录是指在工商注册的企业法人名录，公司是依照公司法组建并登记的以营利为目的企业法人。
大部分企业名录网站：顺企网、中国114黄页、企查查、天眼查等上面的企业名录数据，都是可以通过采集软件采集下来的。
值得注意的是，企业名录网站一般防采集措施比较严密。
很多采集软件都不能搞定封IP、验证码识别等防采集措施。
八爪鱼采集器的代理IP、cookie登录、验证码识别、云服务器多IP采集，可以很好的解决此问题，以高效快捷的采集到所需数据。
以下是一个使用八爪鱼，采集企业名录网站（以顺企网为例）的完整操作过程。
采集网站：/nanhan/nanhanjiedao/步骤1：创建采集任务1）进入主界面，选择“自定义模式”企业名录采集软件如何使用图12）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”企业名录采集软件如何使用图2步骤2：创建翻页循环1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。
将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”，以建立一个翻页循环企业名录采集软件如何使用图3步骤3：创建列表循环并提取数据移动鼠标，选中页面里的第一条企业信息的区块。
系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”企业名录采集软件如何使用图4系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环企业名录采集软件如何使用图53）我们可以看到，页面中企业信息区块里的所有元素均被选中，变为绿色。
右侧操作提示框中，出现字段预览表，将鼠标移到表头，点击垃圾桶图标，可删除不需要的字段。
Win8.1企业版、专业版以及核心版有何差异
公司版、专业版以及中心版有何差别导读:使用系统的用户愈来愈多，市道上对于的版本也是多种多样，公司版、专业版等，假如用户要准备安装系统要选择哪一种版本呢？公司版？专业版？仍是中心版？下边我们来详尽地剖析下公司版、专业版以及中心版之间的不一样之处。
中心版（一般就称之为 Windows）+专业版（称之为WindowsPro），依据用户输入的序列号（就是Win8密钥）来划分安装。
公司版（称之为WindowsEnterprise）则是独自的光盘镜像。
自然，还有一个特别的版本，就是WindowsRT版本，这个是针对ARM办理器架构的。
对于传统的台式机和笔录本电脑，基本上就波及Win8公司版、Win8专业版和Win8标准版。
中心版对一般用户来讲，Windows8就是最正确选择。
包含崭新的Windows商铺、Windows资源管理器、任务管理器等等，还将包含从前仅在公司版/旗舰版中才供给的功能服务。
针对中国等新式市场，微软将供给当地语言版Win8，即Win8中文版。
专业版（称之为WindowsProfessional）：面向技术喜好者和公司/技术人员，内置一系列Win8加强的技术，包含加密、虚构化、PC管理和域名连结等。
公司版（称之为 WindowsEnterprise）：将包含Win8专业版的所有功能，此外为了知足公司的需求，公司版还将增添PC管理和部署，先进的安全性，虚构化等功能。
公司版的特别功能介绍以下：WindowsToGo：让公司用户获取“BringYourOwnPC的体”验，用户经过USB储存设施中实现携带/运转Win8，让系统、应用、数据等随身而动。
DirectAccess：让公司用户可远程登录公司内网而无需VPN，并帮助管理员保护计算机，实现软件更新等操作。
BranchCache：同意用户经过中央服务器缓存文件、网页和其余内容，防止频沉重复的下载。
AppLocker：经过限制用户组被同意运转的文件和应用来解决问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
企业版
01. 企业版功能 02. 企业版与线上版本区别
03. 案例分享
客户需求：1、实现政府相关信息的全网监测，监测内容涵盖政府官方新闻、媒体自发报道、 政府其他新闻，重点监测对象为新闻、门户、论坛、微博等 网站。 2、实现政府相关信息的第一时间反馈，从而使政府部门第一时间掌握社会舆论的走向和趋势，及时制定相应的计划和方案。 3、针对突发事件， 负面事件，实现第一时间掌握信息。从而及时分析整个事件起 因，预测传播度，媒体关注度，影响力，评估后期危机公关效果，制定深度分析报告。 4、 实现海量数据清晰分类，按照不同条件或多维度进行整理。可按照舆情的性质、 重要程度等对相关信息进行分类管理。 解决方案：1、通过八爪鱼采集系统采集互联网数据源，政府能够节省资源，同时提高舆情信息采集与监控的及时性。2、通过八爪鱼采集系统自动采集
企业版相关问题： 数据库对接： sql，mysql，oracle、 dataapi不限 默认是什么方式存储： mongodb Q：多个数据源的数据是以何种方式存储在一起？ A：数据是统一存放到一个大的库里面，用任务Id串连在一起的， 数据格式的话是根据我们的采集的进修配置来决定的。后面分析 的话就要用到我们的API从八爪鱼库里拉数据，然后导入到你们 的分析模块的库里来。 我们提供了根据任务组和任务Id来拉数据 的接口。所以在做接口对接的时候要知道哪个组或哪个任务是对 应的分析模块的哪些数据。
客户端：客户端可分为以下几个子模块
Client：负责任务配置及管理，任务的云采集控制，云集成数据的管理 （导出，清理，发布） DataExporter：负责数据的导出Excel，支持一次导出大量数据（目前支 持百万级别） TaskReviewer：八爪鱼支持本地采集及云采集两种模式，本地采集程序 负责本地采集即在用户自己的电脑上运行采集流程
客户需求：1.全国工商公示信息采集，税务信息，失信信息等支持万达集团征信部门数据源。 2.业务部门实际项目数据源支撑。 解决方案：1.八爪鱼采集器企业落地部署，支持工商信息，税务信息，失信信息等征信所需数据源。 2.支持各业务部门实际项目数据大批量、实时性采集，
客户效益：1.八爪鱼采集器企业落地部署，支持工商信息，税务信息，失信信息等征信所需数据源。仅工商信息一年为企业节约60万。 2.支持各业务部门实际项目数据大批量、实时性采集，为企业业务展开提供有力支持，同时节省数据团队部门人力，提升工作效率。
01. 企业版功能 02. 企业版与线上版本区别
03. 案例分享
内网独立部署： 可以采集内网数据，数据存储在客户本地 主要客户—政府、高校、部分企业 硬件服务器、正版数据库均由客户提供
服务器配置需求： 主服务器（一台） —— 部署和运行主应用系统 SqlServer 服务器（一台）——部署 SqlServer 数据库，存放用户配 置相关数据 MongoDB 服务器（一台）——部署 MongoDB 数据库，存放采集 的原始数据 云服务器（按需）——部署和运行分布式应用程序（物理机、云服务 器）
客户需求：500款白酒在6各平台的价格对比，通过实施数据采集并对比，了解酒仙网与其他平台同款白酒的价格差异 。 解决方案：八爪鱼采集器企业落地部署，支持实时采集六大平台白酒价格，实时准确的数据通过可视化，使酒仙网对各平台同款白酒的价格一目了然。 客户效益：通过各平台白酒的价格实时采集并对比，对企业酒品的定价和促销等运营提供实时准确数据支持。并可以针对实际情况第一时间对市场作 调整，节省原来大量人为数据对比且容易犯错的繁琐工作，为市场战略部门提供实时准确数据支撑。
永久授权： 线上版本——按月、按年 企业版——终身授权 优势： 1、企业终生买断八爪鱼采集器（政府、高校、 大型企业）
多用户管理和团队协作：
线上版本——一个账户 企业版——多账户协同
优势： 1、多个账户协同，方便企业团队协同办公 2、资源分配及管理
支持二次开发，支持更多定制需求 线上版本——API功能 企业版——支持二次开发： SDK传参（API） 打码平台对接 附件批量下载
企业版报价（标准版）：
产品 八爪鱼采集系统 首次实施 软件实施 使用培训 20 100 200000元
现场软件安装调试、一次性基础信息设置
培训对象：甲方及用户； 培训内容：一次全员培训和一次系统管理 员培训
服务期内提供系统升级包
0元
软件升级
技术服务
服务支持 技术支持 现场支持
服务期内系统漏洞修复、BUG修正
服务端：服务端由下面几个子模块
ClientAgent ：为八爪鱼客户端提供专用的服务接口。 Server ：任务调度路由节点，负责将用户提交的云采集任务根据用户账号的不同 分配到不同的任务任务调度处理节点。管理整个云集群及提供集群管理接口。 DataAPI：提供直接通过API方式获取云采集数据的接口。
客户需求： 2015年，税务总局决定在全国税务系统实施”互联网+税务”行动计划，把互联网的创新成果与税收工作深度融合，拓展信息化应用领域， 推动效率提升和管理变革，为实现税收现代化提供有力支撑。 通过综合治税合作部门提供的涉税信息有限，为有效解决征纳双方信息不对称问题，需拓展互联网信息采集渠道。 随着各行业信息化程度飞速发展，互联网应用已成为各行业生产经营的主要因素之一，从而形成了大量的互联网涉税信息，对互联网大数据的挖掘应 用已成为”互联网+税务”应用的主题。 解决方案： 八爪鱼数据采集系统采用分布式云计算构架，大规模高速并发采集，能够对互联网目标涉税信息源（电商、房产、土地、商演、企业经营、行政监管、 金融、本地生活、社交网站，新闻、采购、税务政策等数据）进行各类碎片化信息的实时采集。采集信息源覆盖各类涉税相关网站，各类公开数据源， 税务指定网站，频道，页面的税务领域的信息。 客户效益： 一：全面采集互联网涉税信息，解决征纳双方信息不对称问题，提升互联网税源管理能力。 二：利用大数据云计算技术，主动采集各类互联网涉税信息，推进税务工作效率提升和涉税信息来源管理变革。 三：落实” 互联网+税务”行动计划，拓展税务信息化应用。
存储：存储由以下两部分组成
Sqlserver：用于存储用户及用户配置数据（采集规则）。
MongoDB：用于存储云采集抓取到的数据。
系统架构图
用户App
用户App
用户App
服务 端 DataAPI
Passport
ClientAgent
存 储
八爪鱼 八爪鱼
SQLSe rver
八爪鱼
监控终端
CommandC enterServer
重视与关注焦点信息，政府能够实现对相关领导、 相关部门、相关人员、辖区机关单位、园区企业等正负面舆情信息全面监测，及时发现问题，作出应
对措施。同时监测互联网相关正负面信息、突发事件、重大事件、热门信息、舆情趋势等等，及时掌握最新信息。 3、通过八爪鱼采集系统，政府可以根 据需要勾选关心的舆情信息，系统将自动采集并导入到政府预设模板，同时生成舆情报告，并定期发送 客户效益：八爪鱼数据采集系统通过先进的分布式云架构采集技术可以24小时监控成千上万的网站、论坛、微博舆情和博客的变化，帮助用户及时、全 面、准确地掌握自己重视和关心的焦点问题。通过对所采集信息进行进一步的整理、分析，实时掌控自己管辖区域内的信息动态，充分履行政府职责，提 高政府办事与应变效率。
系统采用C/S（客服端/服务器）架构，面向用户的为桌面版程序。 服务器端采集用SOA（面向服务）架构，高度模块化设计。 系统主要包括以下几大部分：客户端、服务端、云采集端、系统监控、 DataAPI、存储
SOA:面向服务的体系结构（SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过 这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实 现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和 通用的方式进行交互。
Passport：统一通行证服务，提供用户管理及用户身份验证相关接口。
云采集端
Cloud：云节点，负责运行拆分后的任务（采集流程），并将采集到的数据提交到服 务器。
系统监控：系统监控由以下几个小模块
CommandcenterServer ：提供监控信息相关接口 CommandCenter：监控程序客户端，止前为PC版桌面版
1、 完善的整体架构方案
八爪鱼采集系统内置数据采集系统，数据仓库，数据整合接口为一体化的解决方案，该系统可以 独立部 署在企业内部，进行外网抓取。也可以部署在内网，进行隔离环境运行。同时八爪鱼采集系 统还支持二次开发，可以实现与企业内部系统的无缝对接。
2、 分布式云集群部署，海量数据处理能力
八爪鱼采集系统通过一套中央控制处理机制连接了用户端和云集群服务端。中央控制器接 收用户指令，把任务分派到云端的各个节点进行工作，每个云节点相当于一台单机的处理 能力，云集群可以实现自动负载的均衡，进行动态伸缩，日均数据千万数据轻松搞定。同 时分布式云集群的方式还可以帮助用户轻松避开多防采集措施。
企业版
01. 企业版介绍 02. 企业版与线上版本区别
03. 案例分享
概述
八爪鱼是国内领先的互联网数据收集平台，可简单快速地将 网页数据转化为结构化数据，并且提供基于云计算的大数据
云采集解决方案，实现精准，高效，大规模的数据采集。
八爪鱼企业落地版，功能完备，并支持企业内网独立部署， 可永久授权。支持多用户管理和团队协作，支持二次开发， 支持更多定制需求。
Server Mong oDB
Cloud 集群
系统部署图
八爪鱼 八爪鱼 八爪鱼 机器1
SQLServer ClientAgent
服务端
机器2 机器4
监控客户端
CommandCenter Server DataAPI
机器3
云采集节点 Cloud(s)
Passport