MapSource数据生成以实现航点批量导入GPS方法的应用

阿里数据分析笔试题

2016阿里巴巴数据分析师职位笔试题目 阿里巴巴作为全球领先的小企业电子商务公司，招聘阿里巴巴数据分析师职位都会出些什么笔试题目呢?咱们一起看看。 一、异常值是指什么?请列举1种识别连续型变量异常值的方法? 异常值(Outlier) 是指样本中的个别值，其数值明显偏离所属样本的其余观测值。在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。 Grubbs’test(是以Frank E. Grubbs命名的)，又叫maximum normed residual test，是一种用于单变量数据集异常值识别的统计检测，它假定数据集来自正态分布的总体。 未知总体标准差σ，在五种检验法中，优劣次序为：t检验法、格拉布斯检验法、峰度检验法、狄克逊检验法、偏度检验法。 点评：考察的内容是统计学基础功底。 二、什么是聚类分析?聚类算法有哪几种?请选择一种详细描述其计算原理 和步骤。 聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。聚类分析也叫分类分析(classification analysis)或数值分类(numerical taxonomy)。聚类与分类的不同在于，聚类所要求划分的类是未知的。 聚类分析计算方法主要有：层次的方法(hierarchical method)、划分方法(partitioning method)、基于密度的方法(density-based method)、基于网格的方法(grid-based method)、基于模型的方法(model-based method)等。其中，前两种算法是利用统计学定义的距离进行度量。 k-means 算法的工作过程说明如下：首先从n个数据对象任意选择k 个对象作为初始聚类中心;而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。 其流程如下： (1)从n个数据对象任意选择k 个对象作为初始聚类中心;

记事本、EXCEL在MAPSOURCE和MAPGIS数据转换中的应用

记事本、Excel在Mapsource和Mapgis数据转换中的应用探讨 宋丙剑1张艳军2 （1、武警黄金第三支队，黑龙江哈尔滨1500692、中国冶金地质总局第三地质勘查院， 山西太原030002） 摘要：Mapsource和Mapgis是目前地质工作中较为实用的软件，笔者利用记事本、EXCEL成功地完成了向MAPSOURCE批量输入航点坐标，实现了M apsource和Mapgis间数据转换，拓展了记事本、EXCEL、Mapsource、Mapgis在地质工作中的应用空间，极大方便了地质人员野外，减少人为误差，提高了工作效率。 关键词：Excel Mapsource Mapgis记事本数据转换 Mapsource和Mapgis是目前地质工作中较为实用的两种应用软件，但其数据格式转换各不相同，一些专业人士主要是利用一些小软件进行数据转换，但大数地质工作者却因无法得到或不会使用这种软件而苦恼。笔者成功利用记事本、EXCEL2003完成了Mapsource6.5和Mapgis6.5之间的数据转换，减去了不会编程的苦恼。 下面以1：1万土壤测量（已知测线方位30°，测点间距20米，测线长3000米，测线起始点100/100横坐标314053.00，纵坐标5662125.00）为例，详细介绍EXCEL在与Mapsource和MAPGIS间数据转换的过程及方法。 1、Excel和Mapsource数据转换 1.1数据准备 1.1.1EXCEL数据准备 1.1.1.1测点经纬度坐标生成 打开EXCEL程序，建立土壤测量测点坐标生成器.xls，在表格第1、2行输入如图1数据，在E3单元格输入公式[1]=E$2+G3*COS(30*PI()/180)，在F3单元格输入公式=F$2+G3*SIN(30*PI()/180)，利用EXCEL序列功能可生成如下表格（其中点号从100至150，表格数据共151列），也就是由给定的100点坐标（314053.00，5662125.00），可依次自动生成100线102点至150点150个测点的公里网坐标（图 1）。 图1公里网坐标生成 利用相关坐标转换软件（本文采用中海达公司Coord4.0坐标转换软件[2]）将图1中E2-E152、F2-F152列公里网坐标转换为经纬度坐标（图2），具体方法这里不作介绍。如已知经纬度坐标，此步骤可以省略。

(重点学习)海量数据处理方法总结

海量数据处理方法总结 大数据量的问题是很多面试笔试中经常出现的问题，比如baidu，google，腾讯这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1 Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集。 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。 还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit 数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。 举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。 注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。 扩展： Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为

常用大数据量、海量数据处理方法 (算法)总结

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu goog le 腾讯这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。 还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m 的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任

意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg 表示以2为底的对数)。 举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。 注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。 扩展： Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。 问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用6 4字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？ 根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个

MapSource安装手把手图文教程

二、安装MapSource 去网站 https://www.360docs.net/doc/b011984797.html,/Service/dchannel.aspx?moduleid=194&pname=%c5%e4%cc%d7%c8 %ed%bc%fe%cf%c2%d4%d8 下载MapSource的基本版安装。安装完再下载MapSource6.9升级软件安装，安装完成后重启电脑！！ 再将下载的MapSource6156解压，在文件上点击鼠标右键，点选“解压到MapSource6156”；再双击SETUP 升级安装。 MapSource安装结束后会在C分区的根目录下生成两个文件夹，MapSource文件夹是MapSource的程序文件夹，Garmin文件夹用于存放MapSource今后将会使用到的地图文件和用户数据等，如图： 安装后生成文件夹.jpg (大小:32.7 K 下载次数:12) 三、安装地图，我这里使用的是官方7.01OF的中文地图。 1、在C分区Garmin文件夹中新建一个文件夹，比如命名为“Maps”，如图：

新建一个文件夹.jpg (大小:26.6 K 下载次数:8) 2、运行Gmaptool，点击“Add Files”加载官方地图文件，注意加载的是两个文件，如果不加载Gmapbmap.img将会在比例大于30Km时无法正常显示，如图所示：

add files.jpg (大小:35 K 下载次数:16) 点击“Split”，在“Directory”处选择地图输出文件夹“C:\Garmin\Maps”，然后一定要点击“Split all”，如图所示：

split.jpg (大小:32.2 K 下载次数:7) 待地图Split完毕后就可以关闭Gmaptool了。

百度、阿里、腾讯三巨头开挖大数据

百度、阿里、腾讯三巨头开挖大数据2014-04-14 09:55 罗超 36大数据字号：T | T 实际上，对于大数据究竟是什么业界并无共识。大数据并不是什么新鲜事物。信息革命带来的除了信息的更高效地生产、流通和消费外，还带来数据的爆炸式增长。“引爆点”到来之后，人们发现原有的零散的对数据的利用造成了巨大的浪费。移动互联网浪潮下，数据产生速度前所未有地加快。人类达成共识开始系统性地对数据进行挖掘。这是大数据的初心。数据积累的同时，数据挖掘需要的计算理论、实时的数据收集和流通通道、数据挖掘过程需要使用的软硬件环境都在成熟。 AD：51CTO学院：IT精品课程在线看！ 概念、模式、理论很重要，但在最具实干精神的互联网领域，行动才是最好的答案。国内互联网三巨头BAT 坐拥数据金矿，已陆续踏上了大数据掘金之路。 BAT都是大矿主，但矿山性质不同 数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。 百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据。 阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。 腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

下面，就将三家公司的情况一一扫描与分析。 一、百度：含着数据出生且拥有挖掘技术，研究和实用结合 搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。 除了网页外，百度还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。但是，尽管百度拥有核心技术和数据矿山，却还没有发挥出最大潜力。百度指数、百度统计等产品算是对数据挖掘的一些初级应用，与Google相比，百度在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力，还有很多事情要做。 2月底在北京出差时，写了一篇《搜索引擎的大数据时代》发在虎嗅。创造了零回复的记录。尽管如此，仍然没有打消我对搜索引擎在大数据时代深层次变革的思考。搜索引擎在大数据时代面临的挑战有：更多的暗网数据；更多的WEB化但是没有结构化的数据；更多的WEB化、结构化但是封闭的数据。这几个挑战使得数据正在远离传统搜索引擎。不过，搜索引擎在大数据上毕竟具备技术沉淀以及优势。 接下来，百度会向企业提供更多的数据和数据服务。前期百度与宝洁、平安等公司合作，为其提供消费者行为分析和挖掘服务，通过数据结论指导企业推出产品，是一种典型的基于大数据的C2B模式。与此类似的还有Netflix的《纸牌屋》美剧，该剧的男主角凯文·史派西和导演大卫·芬奇都是通过对网络数据挖掘之后，根据受欢迎情况选中的。

如何处理数据库中海量数据,以及处理数据库海量数据的经验和技巧

如何处理数据库中海量数据，以及处理数据库海量数据的经验和技巧 疯狂代码 https://www.360docs.net/doc/b011984797.html,/ ?:http:/https://www.360docs.net/doc/b011984797.html,/DataBase/Article11068.html 海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。　基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提 高了处理效率和处理的成功率。在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。 ;如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。二、软硬件要求高，系统资源占用过高 对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。三、要求很高的处理方法和技巧。 这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。下面我们来详细介绍一下处理海量数据的经验和技巧：一、选用优秀的数据库工具 现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用 Oracle或者DB2，微软公 司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘，傲博知识库等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。二、编写优良的程序代码 处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。三、对海量数据进行分区操作 对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式 ，不过处理机制大体相同。例 如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷， 而且还可以将日志，索引等放于不同的分区下。四、建立广泛的索引 对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复 合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合 操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。五、建立缓存机制 当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。六、加大虚拟内存 如果系统资源有 限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为

论文-宋化雷-Mapsource在系统工程施工中的应用

论Mapsource在系统工程施工中的应用 大庆油田工程建设有限公司安装公司 2013年1月

论Mapsource 在系统工程施工中的应用 大庆油田工程建设有限公司安装公司第十四项目部 宋化雷 杨凯 摘要：塔木察格油田地处蒙古国东方省，油田区域人烟稀少，全部为草原，无固定建筑物可供参照定位，在项目施工中建筑物定位、油水井定位、管道长度测量等必须依托GPS 设备，随着GPS 在工程建设中的普及，而GPS 的数据整理的软件Mapsource 在站外系统施工中应用显得异常重要，本文根据笔者在塔木察格工作中软件应用经验，通过分析、整理，简述了Mapsource 软件在站外系统施工中的主要应用。 关键字：Mapsource ；站外系统；施工；应用 0、前言 Mapsource 是对Garmin GPS 数据进行存储，管理，编辑，应用的一个软件，Mapsource 存储数据的文件一般是后缀名为gdb 的数据库类型。存储的内容主要包括航点，航迹，航线。 在以往的油水井系统工程施工过程中，一般需经过实地踏勘、测量、放线、扫线等多道工序，最终确定单井位置、管网路由，管线长度，为施工技术管理提供基础数据和资料。笔者在近三年的塔木察格项目系统工程施工过程中，利用Mapsource 软件对整个系统工程的数据进行综合处理，通过计算机中的模拟，对系统工程施工组织需要的所有基础数据和资料准确无误地进行整理，并指导现场施工。 1、Mapsource 界面介绍 图2-1 Mapsource 界面 Mapsource 界面主要有菜单栏（1）、工具栏（2）、数据选项卡（3）、图形地图（4）、状态栏（5）等几部分组成，其基本操作与其他软件的基本相同，具有 ① ② ③ ④ ⑤

海量数据处理小结

海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面： 一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。 二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。 三、要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。那么处理海量数据有哪些经验和技巧呢，我把我所知道的罗列一下，以供大家参考： 一、选用优秀的数据库工具现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。 二、编写优良的程序代码处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。 三、对海量数据进行分区操作对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。 四、建立广泛的索引对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。 五、建立缓存机制当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。 六、加大虚拟内存如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P4 2.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为4096*6 + 1024 = 25600 M，解决了数据处理中的内存不足问题。 七、分批处理海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。八、使用临时表和中间表数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按

ARCMAP操作手册.com

空间数据组织与管理实习总结 教师：田永中 刘光鹏整理 实习一A r c G I S的基本知识 一、ArcGIS的体系结构 ArcMap、ArcCatalog、ArcToolbox ArcInfoArc、Editor、ArcView WorkStation 二、ArcGIS的基本操作 1、打开（新建）地图 2、数据加载 3、数据显示与地图布局 4、数据输出 实习二空间数据的表达 一、目的：初步熟悉空间数据的矢量和栅格表达 1、矢量（点、线、面） 2、栅格 二、实习要求 1、在ArcGIS中，分别将point1、polyline1、polygon1按分辨率41、42=16、43=64转换成栅格文件； 2、分别将以上生成的栅格文件按缺损值转换成点、线、多边形的矢量文件； 3、将新生成的矢量文件与分别与point1、polyline1、polygon1进行比较，分析它们之间的差异，并总其规律，写一简要报告。

实习三A r c G I S中数据的表示 一、ArcGIS的数据文件 1、矢量：shapefile、coverage 2、栅格：grid、tif、jpg 3、Geodatabase 二、ArcGIS中查看数据 1、空间数据 2、属性表 实习四栅格像元的不同编码方法及误差比较 一、对土地利用数据按主要类型法进行栅格编码 操作步骤： 1、在Arctoolbox中，打开polygon to grid工具对话框 2、输入土地利用的矢量数据，分别按100米、500米、1000米的分辨率进行栅格转换，转换所采用的字段为ld500227-ID。 3、将三个栅格文件的属性表输出为.dbf文件，并用Excel打开 二、对土地利用数据按像元中心法进行栅格编码 操作步骤： 1、在Arctoolbox中，打开overlay的identity工具对话框 2、Input coverage分别输入point100、point500、point1000 ，identity coverage 输入lad500227矢量文件，其它采用默认值，点击ok. 3、在Arctoolbox中，打开point to grid工具对话框 4、分别将上一步生成的三个点文件按100米、500米、1000米的分辨率进行栅格转换，转换所采用的字段为ld500227-ID

60csx及mapsource新手快速入门指南

60csx及mapsource新手快速入门指南 首先说明，我自己也是新手。09年11月才拿到60csx，因为积分不够至今仍未刷机，是彻头彻尾的新人。幸运的是，熊坛给我提供了一个非常好的学习、交流的平台。经过一个多月的泡坛学习，俺几乎翻遍了garmin区的每一个帖子，受益匪浅。在翻阅帖子的过程中，俺发现很多新手有一个共同特点，就是希望能在一个帖子里解决所有问题。这当然不太现实。但是我理解他们的心情。俗话讲“万事开头难”，作为一个新手，我对此也是深有感受。于是俺突然有个想法：也许可以有这么一个帖子，能通过作者自己的理解体会，把论坛前人宝贵但是零散的资料整合在一起，给新人提供一些入门常识和常见问题的快速指南。鉴于自己也是新手，且引用大量前人的研究成果，故本帖不敢称为“教程”，仅作浅显的指南；本帖内容基于自身浅薄的理解，文体上属于想到哪里写到哪里，难免存在错误，请大家多多批评指正，争取将此帖不断修正完善。 本帖目前主要讨论下面几个话题： 一、60csx的固件及其升级 二、garmin地图的基本常识 三、mapsource及常用地图工具使用入门 一、60csx的固件及其升级 60csx在全球不同地区销售，有不同的固件版本，这些版本主要是语言的区别。在大陆区域，因为合纵思壮的垄断，大家手头机器的来源主要是美国版本，包括我自己的这台也是。英文的机器和拼音地图毕竟不符合大多数人的使用习惯，于是大家开始设法把英文机器通过刷固件改成中文机器。这里面有两种结果：刷成繁体中文，或者刷成简体中文。 1、刷繁体中文 刷繁体中文就目前来说相对比较简单，基本思路是： 到garmin台湾网站下载一个繁体固件： https://www.360docs.net/doc/b011984797.html,/products/GPSMAP60CSx_TWN/download.html 解开后得到一个升级程序和一个固件文件。将固件文件的文件名改成比你机器当前英文固件的版本高一点。比如你机器当前的英文固件版本是4.00，那你就把繁体固件改名成029*********.rgn，注意文件名的后三位代表固件版本，前几位代表不同区域。然后运行繁体固件升级程序就可以刷成繁体中文。不会看机器当前版本？ 查看GPS版本，其步驟如下： 開機後，連按（目錄鍵）2次，直到畫面轉換至（主目錄頁）。 移動游標至（設定），畫面就會切換至（基本設定頁）。 在（基本設定頁）下，移動游標至（系統），再按壓（輸入）鍵，即會進入（系統設定頁）。 在（系統設定頁）下，按壓（目錄鍵）即會出現選項。 移動游標選擇（軟體版本），按輸入鍵後，即會顯示本機台之電子序號及目前的軟體版本。

十七道海量数据处理面试题与Bit-map详解

十七道海量数据处理面试题与Bit-map详解 第一部分、十七道海量数据处理面试题 1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文 件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 1. 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个 小文件（记为,这里漏写个了a1）中。这样每个小文件的大约为300M。 2. 遍历文件b，采取和a相同的方式将url分别存储到1000小文件中（记为）。这样 处理后，所有可能相同的url都在对应的小文件（）中，不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。 3. 求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以了。 方案2：如果允许有一定的错误率，可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url（注意会有一定的错误率）。 读者反馈@crowgns： 1. hash后要判断每个文件大小，如果hash分的不均衡有文件较大，还应继续hash分文件，换个hash 算法第二次再分较大的文件，一直分到没有较大的文件为止。这样文件标号可以用A1-2表示（第一次hash 编号为1，文件较大所以参加第二次hash，编号为2） 2. 由于1存在，第一次hash如果有大文件，不能用直接set的方法。建议对每个文件都先用字符串 自然顺序排序，然后具有相同hash编号的（如都是1-3，而不能a编号是1，b编号是1-1和1-2），可 以直接从头到尾比较一遍。对于层级不一致的，如a1，b有1-1，1-2-1，1-2-2，层级浅的要和层级深的每个文件都比较一次，才能确认每个相同的uri。 2. 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能 重复。要求你按照query的频度排序。 方案1： 1.顺序读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件（记为）中。这样新生成的文件每个的大小大约也1G（假设hash函数是随机的）。 2.找一台内存在2G左右的机器，依次对用hash_map(query, query_count)来统计每个query出现的次数。利用快速/堆/归并排序按照出现次数进行排序。将排序好的query和对应的query_cout 输出到文件中。这样得到了10个排好序的文件（,此处有误，更正为b0,b1,b2,b9）。 3.对这10个文件进行归并排序（内排序与外排序相结合）。 方案2：

手把手教你安装MapSource

手把手教你安装MapSource 手把手教你安装MapSource mapsource是对Garmin GPS数据进行存储、管理、编辑和应用的一个软件，其存储数据的文件一般是后缀名为gdb的数据库文件，存储的内容主要包括航点、航迹和航线。本篇中，将用详细图文来教你如何安装mapsource，你只需跟着步骤操作就可以了哦。 一、所需软件准备：①Mapsource(6.15.6) https://www.360docs.net/doc/b011984797.html,/support/download_details.jsp?id=209 ②GARMIN MAP(V7.01CHN OF) https://www.360docs.net/doc/b011984797.html,/zh-cn/files/3346d94f-fd75-11dd-a7b9-0019d11a795f/ ③ Gmaptool(v0.4.0) http://www.**.com/dispbbs.asp?boardid=43&;Id=136003&page=3 ④cGPSmapper(V0.96) https://www.360docs.net/doc/b011984797.html,/download/cgpsmapperFree.zip ⑤GARMIN UNLOCKER http://www.**.com/dispbbs.asp?BoardID=43&;ID=135571&replyID=&skin=1 二、安装MapSource 6.15.6：首先将下载的MapSource6156解压，在文件上点击鼠标右键，点选“解压到MapSource6156”；双击文件“MSMAIN.msi”运行安装，如图：MapSource安装结束后会在C分区的根目录下生成两个文件夹，MapSource文件夹是MapSource的程序文件夹，Garmin文件夹用于存放MapSource今后将会使用到的地图文件和用户数据等 三、安装地图，我这里使用的是官方7.01OF的中文地图。1、在C分区Garmin文件夹中新建一个文件夹，比如命名为“Maps" 2、运行Gmaptool，点击“Add Files”加载官方地图文件，注意加载的是两个文件，如果不加载Gmapbmap.img将会在比例大30Km时无法正常显示, 点击“Info”记录下25位解锁码，可用“Ctrl+C”复制后粘贴到一文本文件中待用；记录好25位解锁码之后就可以Split地图了，点击“Split”，在“Directory”处选择地图输出文件夹“C:\Garmin\Maps”，然后一定要点击“Split all” 待地图Split完毕后就可以关闭Gmaptool了。 3、安装地图，将cGPSmapper解压后的所有文件复制到“C:\Garmin\Maps”，并在 “C:\Garmin\Maps”文件夹中运行“install.bat”，至此地图就安装完毕了，MapSource也可以使用了。 四、解锁地图：1、运行MapSource，程序会提示你使用的地图产品被锁定，需要输入25位的产品码。点击“实用程序”中的“地图产品管理”，在“解锁区域”中点击“添加”，输入刚才得到的25位产品解锁码。2、将Garminunlocker.exe文件复制到“C:\Garmin\Maps”文件夹之中，点击桌面“开始”----“运行”----输入“cmd”，在命令行方式中输入：cd\garmin\maps 回车后再输入：garminunlocker.exe all,之后按屏幕提示操作。再运行MapSource，进入地图产品管理中查看，地图已经是”不可锁定“状态了。至此MapSource全部安装完毕。

运营必备的 15 个数据分析方法

提起数据分析，大家往往会联想到一些密密麻麻的数字表格，或是高级的数据建模手法，再或是华丽的数据报表。其实，“分析”本身是每个人都具备的能力；比如根据股票的走势决定购买还是抛出，依照每日的时间和以往经验选择行车路线；购买机票、预订酒店时，比对多家的价格后做出最终选择。 这些小型决策，其实都是依照我们脑海中的数据点作出判断，这就是简单分析的过程。对于业务决策者而言，则需要掌握一套系统的、科学的、符合商业规律的数据分析知识。 1.数据分析的战略思维 无论是产品、市场、运营还是管理者，你必须反思：数据本质的价值，究竟在哪里？从这些数据中，你和你的团队都可以学习到什么？ 数据分析的目标 对于企业来讲，数据分析的可以辅助企业优化流程，降低成本，提高营业额，往往我们把这类数据分析定义为商业数据分析。商业数据分析的目标是利用大数据为所有职场人员做出迅捷、高质、高效的决策，提供可规模化的解决方案。商业数据分析的本质在于创造商业价值，驱动企业业务增长。 数据分析的作用 我们常常讲的企业增长模式中，往往以某个业务平台为核心。这其中，数据和数据分析，是不可或缺的环节。 通过企业或者平台为目标用户群提供产品或服务，而用户在使用产品或服务过程中产生的交互、交易，都可以作为数据采集下来。根据这些数据洞察，通过分析的手段反推客户的需求，创造更多符合需求的增值产品和服务，重新投入用户的使用，从而形成形成一个完整的业务闭环。这样的完整业务逻辑，可以真正意义上驱动业务的增长。 数据分析进化论 我们常常以商业回报比来定位数据分析的不同阶段，因此我们将其分为四个阶段。 阶段 1：观察数据当前发生了什么？ 首先，基本的数据展示，可以告诉我们发生了什么。例如，公司上周投放了新的搜索引擎 A 的广告，想要

Excel在Mapsource和Mapgis数据转换中的应用探讨

Excel在Mapsource和Mapgis数据转换中的应用探讨 目前地质工作者多利用各种小软件来实现Mapsource和Mapgis数据格式转换，以完成野外生产工作的需要，却因无法得到或不会使用这些软件而苦恼。作者成功地只利用Excel实现mapsource软件批量导入坐标点，完成了Mapsource 和Mapgis间的数据转换，极大方便了野外地质人员，减少人为误差，提高了工作效率。 标签：Excel；投影变换公式；Mapsource；Mapgis 引言 随着GPS定位精度的提高，GPS在地质找矿工作中应用越来越广。在一些中小比例尺的大范围的物化探扫面工作中，更是采用手持GPS定点，这就需要把大量的坐标点导入到mapsource软件中。如果单点逐个输入mapsource软件，无疑就占用了大量的施工时间；某些收费软件也可以实现批量导入mapsource，但操作步骤复杂。作者成功利用Excel2003完成了Mapsource和Mapgis6.5之间的数据转换。下面以1∶5万地球化学普查-水系沉积物、土壤测量为例，详细介绍Excel与Mapsource和MAPGIS间数据转换的过程及方法。 1 Excel和Mapsource数据转换 1.1 实现原理及数据准备 mapsource软件提供了一种GPS交换格式，这种文件可以用文本程序直接进行编辑，通过建立mapsource软件认可的*gpx格式的文件，然后通过编辑把大量的坐标写入*.gpx格式的文件，实现批量导入设计航点。在野外施工中利用GPS 定点的坐标大多是平面直角坐标，以某区1∶5万地球化学普查-水系沉积物、土壤测量测点内为例来演示把区内坐标点一次性导入到mapsource软件中，测点的西安-80坐标见表1。 表1 示例测区西安-80坐标 （1）创建*gpx格式文件模板。选择测区的四个坐标逐个的输入到mapsource 软件中，另存为*gpx格式，命名为“文件1.gpx”，用记事本程序打开“文件1”，其中坐标点的位置是用WGS-84椭球系统下的大地坐标来表示的。 （2）利用Excel软件进行坐标转换。利用Excel软件编制坐标转换公式，实现平面直角坐标转换成WGS84大地坐标转换功能，在转换之前需要计算西安-80椭球和WGS-84椭球间转换的七参数，如果不能从测绘部门收集到七参数，也可以根据坐标点相应的WGS-84坐标来计算七参数。使用Excel软件的文件转换功能方便的把我们的理论坐标全部转换为WGS-84坐标系统下的经纬度格式。利用相关坐标转换软件将公里网坐标转换为经纬度坐标，具体方法这里不作介绍。

阿里国际站代运营篇：没有分析数据,说什么精准营销!

现在的整个市场越来越重视数据的分析，很多人越来越关注PV、UV、跳出率、访问深度、停留时长等。总体来说，这些指标都属于统计指标，反映的都是店铺总体情况，数据的价值除了反映现状，还有更重要的是应用。统计是数据汇总整理的结果，没有分析，怎能拿来指导下一步的工作呢？ 对于我们经营国际站的外贸人来说，最重要的东西之一就是买家到底喜欢什么，只有知道了这个之后，我们才能针对买家爱好出击，做到精准吸引潜在买家！要想知道买家喜欢什么，首先你要知道买家都做了些什么，通过分析买家的行为来掌握买家的习惯。 什么是买家行为分析 简单来说就是分析买家做了什么，和买家一直做什么，并以此来抓住买家的喜好点，掌控整个市场 那我们怎么去分析？ 阿里后台就可以直接搞定这些东西了，来看一下！ 阿里巴巴后台>>数据管家>>知买家>>访客详情 地域，判断目标市场 通过采集访客地域数据，我们可以判断出我们的主营市场是什么地方，是欧洲还是北美，或者其它的地方。判断出目标市场后，在P4P推广我们就可以针对我们的目标市场时间进行推广。旺铺及产品页装修风格也可以结合目标市场买家喜好进行设计。 浏览量，了解买家搜索路径 点开浏览量，我们可以知道买家来了我们店铺后的路径，浏览了哪些页面，及在每个页面的停留时长。在都有反馈的前提下，浏览量越少，即表达买家越喜欢这个产品，搜索路径越短，普通产品，排名会越好，P4P产品，所需要的竞价底价越低。 停留总时长，计算跳出率 从点击页面中，可以看出买家在这个页面仅仅只停留几秒，这个就相当于买家一进你的页面就立马跳走啦，大家可以统计停留时长低于2s的访客数量，该数据除以访客总数就可以得出跳出率了，如果跳出率占比过高，大家需要优化旺铺页面及产品详情页。影响跳出率的原因有关键词与页面的匹配度，页面打开速度过慢等。 常用搜索词，判断买家的质量及真实需求