201809网络爬虫系统_项目建设方案详细
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目录
1. 对项目的理解...................................................................... - 5 - 1.1背景 .. (5)
1.2业务目标 ............................................................................. 错误!未定义书签。
1.3应用感知目标 (5)
2. 系统整体架构...................................................................... - 6 - 2.1技术框架 .. (6)
2.2数据架构 (6)
2.3功能模块 (7)
2.4功能模块 (8)
2.5应用部署架构 (10)
3. 详细建设方案.................................................................... - 10 - 3.1一站式大数据采集、存储、清洗、训练、导出 (10)
3.2多租户管理 (11)
3.2.1 功能说明 .......................................................................................... - 11 - 3.2.2 平台截图 .......................................................................................... - 11 - 3.3丰富的数据接口. (11)
3.4平台高可用性 (12)
3.5抓取高效性 (12)
3.6高可扩展性 (12)
3.7可视化爬虫界面 (12)
3.8抓取过程 (13)
3.9硬件配置方案 (14)
3.9.1 主机、存储资源................................................................................... - 14 - 3.9.2 软件资源 .......................................................................................... - 15 - 3.10资源估算.. (15)
3.10.1 存储 .............................................................................................. - 15 -
3.10.2 CPU与内存 ..................................................................................... - 17 -
4. 系统安全与系统测试............................................ 错误!未定义书签。
4.1系统管理以及系统安全措施 ...................................................... 错误!未定义书签。
4.2系统测试的方法和环境 ............................................................ 错误!未定义书签。
5. 工程进度安排及项目实施人员资质........................... 错误!未定义书签。
5.1工程进度安排........................................................................ 错误!未定义书签。
5.2项目支撑人员组成表............................................................... 错误!未定义书签。
5.3支撑人员相关证明材料 ............................................................ 错误!未定义书签。
5.3.1 杨继营（项目负责人）......................................................... 错误!未定义书签。
5.3.2 李筠................................................................................ 错误!未定义书签。
5.3.3 邹娟................................................................................ 错误!未定义书签。
5.3.4 邱文川 ............................................................................. 错误!未定义书签。
5.3.5 唐亮................................................................................ 错误!未定义书签。
5.3.6 赵柏杰 ............................................................................. 错误!未定义书签。
5.3.7 刘子悦 ............................................................................. 错误!未定义书签。
5.3.8 曹平................................................................................ 错误!未定义书签。
5.3.9 陈汉雄 ............................................................................. 错误!未定义书签。
5.3.10 陈一 .............................................................................. 错误!未定义书签。
5.3.11 付敏健 ........................................................................... 错误!未定义书签。
5.3.12 张福元 ........................................................................... 错误!未定义书签。
5.3.13 何州鹏 ........................................................................... 错误!未定义书签。
5.3.14 黄华金 ........................................................................... 错误!未定义书签。
5.3.15 黄习文 ........................................................................... 错误!未定义书签。
5.3.16 李佳 .............................................................................. 错误!未定义书签。
5.3.17 李威虎 ........................................................................... 错误!未定义书签。
5.3.18 刘起云 ........................................................................... 错误!未定义书签。
5.3.19 冼锡勇 ........................................................................... 错误!未定义书签。
5.3.20 杨锋 .............................................................................. 错误!未定义书签。
5.3.21 邹兴 .............................................................................. 错误!未定义书签。
6. 售后服务及质量保证措施、技术支持和保修等.............. 错误!未定义书签。
6.1培训 ................................................................................... 错误!未定义书签。
6.2维护与升级........................................................................... 错误!未定义书签。
6.3质量保证期内的服务............................................................... 错误!未定义书签。
6.4寿命期内维修服务.................................................................. 错误!未定义书签。
7. 人员培训计划、安排............................................. 错误!未定义书签。