大数据环境下高性能计算模型及关键技术研究
大数据背景下计算机科学与技术的应用现状与发展对策研究

DCWTechnology Application技术应用139数字通信世界2024.03计算机科学与技术是大数据技术的核心基础,其发展状况与能力水平对于大数据的应用与推广至关重要[1]。
1 大数据概述大数据,也被称为巨量资料,是一种复杂的数据集合,其量级庞大以至于主流的软件工具无法在合理的时间内完成对其的获取、管控、处理以及整理。
大数据的特点通常用5V 来表示,即Volume (大量)、Velocity (高速)、Variety (多样)、Value (低价值密度)和Veracity (真实性)。
大数据的应用非常广泛,它在商业分析、健康医疗、科研、社交媒体等领域发挥着重要作用。
通过对大数据的分析,人们可以更深入地理解市场趋势、消费者行为、疾病传播等,从而做出更好的决策。
2 大数据背景下的计算机科学与技术应用现状2.1 虚拟技术的应用在大数据背景下,计算机科学与技术应用正在不断发展和演进,其中虚拟技术在各个领域的应用尤为引人注目。
虚拟技术是利用计算机生成的数字环境来模拟现实世界的技术,包括虚拟现实(VR )、增强现实(AR )等[2]。
在教育领域,虚拟技术正在迅速地改变学习方式,它的出现为学生提供了一种全新的学习体验。
通过虚拟现实技术,学生可以穿越时空,亲身体验历史事件,探索科学世界,身临其境地参观古代文明的遗址或宇宙深处的星系。
沉浸式的学习体验极大地提高了学习的乐趣和效果,激发了学生的好奇心和学习热情。
虚拟现实技术也为远程教育提供了全新的可能性。
传统远程教育往往受限于时空的限制,学生与教师之间的互动有限。
虚拟现实技术可以创建一个虚拟的教室环境,使学生可以与远程教师和其他学生进行实时互动。
在娱乐领域,虚拟技术为人们带来了全新的娱乐体验,创造了更加逼真和身临其境的游戏环境。
虚拟现实游戏通过头戴式显示器和交互设备,能够使玩家完全沉浸在虚拟世界中。
他们可以在虚拟现实游戏中身临其境地参与游戏情节,与游戏中的人物和环境互动,享受到身临其境的游戏体验。
大数据背景下数据挖掘技术的应用研究

大数据背景下数据挖掘技术的应用研究摘要:随着科技的发展,数据信息大量出现,越来越多的人想要从许多混杂的资源中找出最具有价值的信息。
本文将从数据挖掘技术的基本概念入手,并结合当下现实来分析大数据的出现给数据挖掘技术应用带来的变化。
在数据挖掘技术应用中主要从数据分析的利用和数据聚类的利用两大方面进行阐释,总体研究大数据背景下数据挖掘技术的应用。
关键词:大数据时代;数据挖掘技术;数据挖掘技术的应用大数据的发展会带来大量的信息资源,人们的思维方式也会随之发生改变。
于此同时信息发展也逐渐成为了开启信息时代的钥匙。
全球各国普遍认识到数据的重要性及其对国家的发展发挥的许多重要意义,许多国家以此为基点制定适合自己国家发展的战略性计划,由此占领数据的高地,实现国家创新性发展。
因此,大数据在当今时代具有极强的研究价值和应用价值。
笔者将主要从大数据可视化给数据挖掘技术带来的影响为着眼点,进而进一步分析高性能计算(HPC)给数据挖掘技术带来的一定程度的影响,且通过这些变化研究大数据背景下数据挖掘技术的具体应用。
正文:当今的数据挖掘技术的理论已经成熟,数据挖掘技术的应用愈加广泛。
受众趋向了解更多的数据挖掘技术,从而利用起大量的信息资源。
我们对于大数据背景下的数据挖掘技术的具体应用,将会获得信息的有效运用和资源的科学整合。
同时,掌握和了解到有关于数据挖掘技术的知识对普通受众来说不仅可以掌握到大量的数据资源,从而更好地利用这些资源为我们的生活实践服务,而且对于专业技术人员来说,广泛被大众所接受的数据挖掘知识前景将更加开阔,理论弹性增大,这将促进数据挖掘技术的进一步发展。
一、数据挖掘技术的概述数据挖掘技术主要是一个搜索的过程,它主要利用算法进行搜索,并通过一定媒介,从大量的信息中提取对搜索者有用的信息资源。
这个过程的原始数据被分成建模样本和分析样本两部分。
建模样本将会经过数据预处理后变成预处理后的专家样本。
而分析样本则会经过特征选择后变成预处理后的分析样本。
《高性能伺服驱动关键技术研究与实现》

《高性能伺服驱动关键技术研究与实现》一、引言随着工业自动化和智能制造的快速发展,高性能伺服驱动系统在机器人、数控机床、航空航天等领域的应用越来越广泛。
高性能伺服驱动系统的关键在于其驱动控制技术,它直接决定了系统的动态响应、稳定性和精度等性能指标。
因此,对高性能伺服驱动关键技术的研究与实现显得尤为重要。
本文将重点探讨高性能伺服驱动的关键技术研究与实现方法。
二、高性能伺服驱动系统概述高性能伺服驱动系统是一种以高精度、高速度、高稳定性为目标的控制系统。
它主要由伺服电机、驱动器、控制器和传感器等部分组成。
其中,驱动器是控制电机运转的核心部件,其性能直接影响到整个系统的性能。
因此,研究高性能伺服驱动关键技术,对于提高系统整体性能具有重要意义。
三、高性能伺服驱动关键技术研究1. 电机控制策略研究电机控制策略是高性能伺服驱动系统的核心。
目前,常用的控制策略包括PID控制、模糊控制、神经网络控制等。
这些控制策略各有优缺点,需要根据具体应用场景进行选择和优化。
此外,随着人工智能技术的发展,基于深度学习的控制策略也逐渐应用于伺服驱动系统中,提高了系统的智能性和自适应性。
2. 驱动力矩控制技术研究驱动力矩控制技术是影响伺服系统动态响应和稳定性的关键因素。
为了提高驱动力矩控制的精度和速度,研究人员提出了多种力矩控制算法,如前馈控制、反馈控制、自适应控制等。
这些算法能够根据系统实际运行状态,实时调整力矩输出,从而提高系统的动态性能。
3. 传感器技术的研究与应用传感器在高性能伺服驱动系统中起着至关重要的作用。
通过对传感器数据的采集和处理,可以实时监测系统运行状态,为控制系统提供反馈信息。
目前,常用的传感器包括位置传感器、速度传感器、力矩传感器等。
随着传感器技术的不断发展,越来越多的新型传感器被应用于伺服驱动系统中,如光学编码器、磁编码器等,提高了系统的测量精度和响应速度。
四、高性能伺服驱动关键技术的实现1. 硬件设计实现高性能伺服驱动系统的硬件设计是实现关键技术的基础。
高性能计算与大数据处理

高性能计算与大数据处理随着计算机技术的快速发展和数据量的不断增长,高性能计算与大数据处理已经成为当今科技领域中极为重要的一部分。
本文旨在介绍高性能计算与大数据处理的概念、技术以及应用。
通过深入分析和解析,帮助读者更好地理解这一领域的关键概念和背后的原理。
一、高性能计算高性能计算,又称超级计算、大规模并行计算,是指利用并行计算机系统(如超级计算机)进行大规模的科学计算和工程计算的过程。
高性能计算的目标是提供超强的计算能力,能够在有限的时间内解决复杂的计算问题。
1.1 高性能计算的基本原理高性能计算的基本原理是通过将计算任务分解成多个子任务,然后并行地在多个计算单元或计算节点上执行这些子任务,以达到加速计算的效果。
常用的高性能计算技术包括并行计算模型、并行算法以及并行编程模型等。
1.2 高性能计算的应用领域高性能计算在科学研究、工程设计、天气预报、医学研究等众多领域都有广泛的应用。
例如,在天气预报中,高性能计算能够模拟大气运动、海洋运动,提供准确的天气预测结果;在药物研发中,高性能计算能够模拟分子结构,辅助药物设计和筛选。
二、大数据处理大数据处理是指对大规模和复杂的数据集进行收集、存储、分析和应用的过程。
大数据的特点包括大量性、高速性、多样性和真实性。
大数据处理的目标是从海量数据中挖掘有用的信息和知识,帮助决策者做出准确的决策。
2.1 大数据处理的技术与方法大数据处理技术包括数据采集、数据存储、数据分析和数据应用等多个环节。
数据采集通过各种传感器、设备和系统收集数据;数据存储使用分布式文件系统和数据库管理系统进行大规模数据存储;数据分析利用数据挖掘、机器学习和深度学习等技术从数据中提取有用的信息;数据应用将分析结果应用于实际业务场景。
2.2 大数据处理的应用场景大数据处理在金融风控、智慧城市、智能交通、电子商务等领域有广泛的应用。
例如,在金融风控中,大数据处理能够分析用户的历史交易数据,预测潜在的风险,提供风险评估和防范措施;在智慧城市中,大数据处理能够分析城市中的交通情况、环境状况,优化城市资源分配和管理。
高性能计算集群系统的设计与优化

高性能计算集群系统的设计与优化摘要:随着大数据、人工智能和科学计算的快速发展,高性能计算集群系统的设计与优化变得越来越重要。
本文将介绍高性能计算集群系统的概念、设计原则、关键技术以及优化方法。
同时,还将讨论如何提高集群系统的性能和可扩展性,以满足不断增长的计算需求。
第一部分:高性能计算集群系统的概述高性能计算集群系统是由多台计算机互联而成的计算平台,用于完成大规模数据处理和科学计算任务。
它通常包括主节点和若干个计算节点,每个计算节点都配备有多个处理器和大容量内存。
集群系统提供了分布式计算和存储能力,能够实现高效的数据处理和计算任务。
第二部分:高性能计算集群系统的设计原则1. 任务划分和负载均衡:将大规模任务划分为多个子任务,并将这些子任务分配到不同的计算节点上,以实现负载均衡,提高整个集群系统的效率。
2. 通信和数据传输:设计高效的通信机制和数据传输协议,以减少通信开销,提高数据传输的速度和效率。
采用高速网络和多路径传输技术,可以提高通信带宽和传输速度。
3. 存储和数据管理:采用分布式存储和数据管理技术,将数据均匀地分布在不同的存储节点上,以实现数据的共享和并行处理,提高数据访问的效率。
4. 容错和可靠性:设计容错和冗余机制,以应对节点故障和数据丢失等问题。
采用备份和恢复策略,可以保证系统的可靠性和数据的完整性。
第三部分:高性能计算集群系统的关键技术1. 并行计算技术:通过使用并行算法和并行编程模型,将大规模计算任务划分为多个并行的子任务,并通过多个计算节点同时执行,以提高计算速度和效率。
2. 分布式存储技术:采用分布式文件系统和对象存储技术,将数据分散存储在不同的存储节点上,并通过网络进行访问。
3. 多核计算与加速器技术:利用多核处理器和加速器(如GPU、FPGA)来提高计算能力和效率。
通过并行化计算任务和利用加速器的性能优势,可以快速完成大规模计算任务。
4. 虚拟化和容器技术:采用虚拟化和容器技术,将计算节点进行虚拟化,提供灵活的资源分配和管理机制,以实现更高的资源利用率和可扩展性。
云计算环境下的大数据存储与处理技术研究

云计算环境下的大数据存储与处理技术研究云计算以其高度灵活、可扩展和容错性强的特点,成为了大数据存储和处理的理想选择。
本文将对云计算环境下的大数据存储与处理技术进行深入研究,分析其优势、挑战以及未来发展趋势。
一、介绍随着互联网的迅猛发展,数据量呈爆炸式增长,传统的数据处理与存储方式已经无法满足大数据时代的需求。
传统的数据中心架构面临着存储能力、计算能力以及安全性等方面的瓶颈。
而云计算环境作为一种新兴的数据处理与存储技术,由于其具备高度可扩展性、灵活性以及经济性,被广泛应用于大数据领域。
二、大数据存储技术研究大数据存储技术是保证大数据高效存储和访问的关键。
在云计算环境下,大数据存储技术面临着多层次、大规模的挑战。
为了解决这些问题,研究人员提出了一系列优化方案,如分布式文件系统、分布式数据库以及对象存储等。
1. 分布式文件系统分布式文件系统(Distributed File System, DFS)是云计算环境下常用的大数据存储技术之一。
它将大数据分散存储在多个节点上,提供高可靠性和高可扩展性。
典型的分布式文件系统有Hadoop Distributed File System (HDFS)和Google File System (GFS)等。
2. 分布式数据库分布式数据库是另一种常见的大数据存储技术。
它通过将数据分布在多个节点上,实现了数据的并行处理和扩展。
分布式数据库系统可以提供高性能和高可用性,如NoSQL数据库和NewSQL数据库等。
3. 对象存储对象存储(Object Storage)是一种以对象为基本存储单位的存储技术。
它将数据以对象的形式存储,并提供元数据进行管理。
对象存储适用于大规模数据存储场景,能够提供高容量、高可靠性和高可用性。
三、大数据处理技术研究大数据处理技术是对存储在云计算环境下的大数据进行分析和挖掘的关键技术。
传统的数据处理方式无法胜任大数据场景下的任务,因此研究人员提出了一系列高效的大数据处理技术。
国家高技术研究发展计划2015年度项目申报指南

国家高技术研究发展计划2015年度项目申报指南国家高技术研究发展计划(863计划)2015年度项目申报指南1. 超级计算机1.1 高效能计算机(三期)高效能计算机一期和二期集中部署了新一代高效能计算机系统、超算应用社区、典型行业应用软件开发等课题。
三期将在前期的基础上,重点支持E级超级计算机新型体系结构与关键技术预研和超算重大应用工具集研发,为“十三五”超级计算机的研制打下基础。
下设3个研究方向,执行期限2年。
1.1.1 E级超级计算机新型体系结构及关键技术路线研究针对高效的计算和数据处理,基于自主可控核心器件,研究面向E 级的高效能计算机体系结构及其关键技术,提出突破制约系统功耗、性能、规模等扩展瓶颈的技术思路,形成国际领先的高效能E级超级计算机系统方案。
经过模拟验证的E级系统可实施方案,性能功耗比达到30GFLOPS/W以上,核心器件自主可控。
(建议超算研制优势单位合作并联合国内相关单位共同申报。
)1.1.2 空气动力学高性能数值模拟环境(数值风洞)?亚跨超声速飞行器数值模拟软件系统面向航空航天飞行器和高速列车等高价值目标的优化设计,针对空气动力学复杂流动研究与流固耦合多学科优化设计等对高性能数值模拟的需求,完成数值风洞的软硬件环境的总体架构设计。
研究可扩展的前后处理软件平台,研制亚跨超声速飞行器数值模拟软件系统,构建适应于亚跨超声速飞行器研究的数值风洞系统。
在亿亿次量级的高性能计算机系统系统上,实现十万核量级的大规模数值模拟。
所研发的软件并行效率达到30%以上,针对国家相关重大专项中明确的飞行器目标,获得高价值的专家数据和数值模拟成果,为这些飞行器的优化设计提供有效的技术支撑。
1.1.3 核能反应堆高性能数值模拟环境(数值反应堆)?材料性能优化软件系统面向国家核能开发,针对裂变反应堆的性能优化、延寿和运行安全性等挑战性难题以及新堆自主创新设计等重大任务对高性能数值模拟的需求,自主研发反应堆重要材料的性能优化软件系统。
大数据分析与高性能计算技术研究

大数据分析与高性能计算技术研究当今时代,互联网已经无处不在,各种数据在不断产生,而大数据分析和高性能计算技术的研究和应用已经成为数据科学领域的重要课题。
大数据分析和高性能计算技术可以帮助企业、政府和科学研究机构更好地利用和处理海量数据,从而获取更多的信息和洞察力。
本文将探讨大数据分析和高性能计算技术的发展和应用。
一、大数据分析技术的发展随着互联网技术的发展,数据也变得越来越庞大和复杂。
但是,这些数据中含有大量有价值的信息,可以帮助企业和政府做出更好的战略决策。
在数据处理中,大数据分析技术不断地发展和完善,目前已经成为企业和政府获取数据价值的关键技术之一。
大数据分析技术主要包括数据采集、数据清洗、数据建模、数据分析和数据可视化等环节。
在这些环节中,数据分析是最重要的一环,它可以通过数据可视化、模型建立和数据挖掘等方法,发现数据背后的规律和趋势。
通过大数据分析技术,企业和政府可以及时获取信息,对相关业务进行优化。
二、高性能计算技术的应用高性能计算技术的应用范围十分广泛,不仅仅是在大型企业和科研机构中得到了广泛应用,还在普通用户中得到了普及。
高性能计算技术可以帮助我们更好地处理计算量大、计算复杂的问题,提高计算效率,为我们带来更多的计算能力支持。
高性能计算技术的发展离不开硬件和软件的发展,比如GPU、FPGA等多样化的硬件设备的出现,以及高性能计算软件的不断加强和优化。
在各个领域的应用中,高性能计算技术也得到了广泛认可和应用。
在气象预报、石油勘探、生物科学和金融领域等,高性能计算技术已经发挥了巨大的作用。
三、大数据分析与高性能计算技术的结合大数据分析与高性能计算技术一起应用,可以帮助用户更好地分析数据,更好地解决实际问题。
在许多企业和政府中,这种技术应用已经得到了广泛应用。
例如,在金融领域中,大数据分析和高性能计算技术可以帮助银行准确判断贷款风险,优化信用卡发放策略等;在医疗领域中,大数据分析和高性能计算技术可以帮助医生进行精准诊断,提高医疗效率等;在物流领域中,大数据分析和高性能计算技术可以帮助物流企业加强管理,提高效率。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
大数据环境下高性能计算模型及关键技术研究
隨着大数据时代的来临,大数据正在以快速有效处理海量数据的技术影响着各行各业,其中大数据的环境下高性能计算模型及关键技术的研究能够有效地提高海量大数据的索引和处理速度,因此,文章主要针对大数据环境下高性能计算模型及关键技术进行了详细探究和讨论。
标签:大数据环境:高性能计算模型:关键技术
大数据时代已经来临,大数据(big data)是指无法在一定时间范围内用常规软件捕捉和处理的数据集合,需要新型处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率以及多样化的信息资产。
大数据具有5V的特点,分别是V olume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)以及Veracity(真实性)。
1 大数据环境下高性能计算模型
1.1 数据活化理论
数据活化理论方面的研究实际上最早起始于上个世纪初叶,现如今,随着全球信息科学和计算机科学的持续高速发展,数据活化理论已经成为了大数据环境下高性能计算模型中被广泛应用并投入使用的理论。
尤其在随着全球现代化的高速发展的趋势,数据活化理论在大数据环境下高性能计算模型中日益显示出其重要的地位,虽然现如今,在全球经济高速发展的背景下,各种各样的基于大数据环境下的高性能计算模型理论层出不穷,例如:走鹃——RoadRuner存储系统理论、蓝色基因Blue Gene/L存储系统、元数据管理理论、分布式多级缓存管理理论、分布式数据布局理论等,但数据活化理论的地位却依旧无法撼动[1]。
1.2 数据多态组织索引
在大数据环境下高性能计算模型中,数据多态组织索引是目前最常用的一种索引技术,数据多态组织索引实际上就是基于一种离散目标的索引方式,主要针对的是目标区域内的某一个特定的点集进行搜索,也正是由于数据多态组织索引覆盖的搜索区域和范围非常的广,所以在数据多态组织索引就具有了网络能耗大且关注点不突出的缺点。
但在大数据环境下高性能计算模型中数据多态组织索引由于可以针对一定区域内的移动的目标进行索引,因而具有了其他索引技术所不具备的优势,在一定范围内目标被搜索到的概率就会有相对的提高。
同时,由于数据多态组织索引对于大数据环境中的数据质量、网络的连通性、能量的有效性、网络的容错性、算法的复杂度、算法的精确度、动态性和兼容性、网络的可扩展性、执行的复杂程度等各个方面的要求都较低,因而也就成为了大数据环境下高性能计算模型中最实用和方便的一种方式[2]。
1.3 数据处理
针对大数据环境下高性能计算模型的特点,想要保证数据处理的及时性、完整性以及可靠性,就必须加强大数据环境下高性能计算模型中的数据处理技术,通过对大数据环境下高性能计算模型中的所有数据的状态进行全面的监视。
依照不同数据的信息来源的不同,根据不同的实际情况,从而通过数据采集模块为大数据环境下高性能计算模型的系统提供原始数据,数据源可以是数据的固定信息或者变动信息,也可以是网络上的数据的信息变化等。
当数据提取模块获得数据源之后,通过对数据源进行简单的过滤、数据格式的标准化等处理,并且将处理后的数据存入数据库当中,这个时候大数据环境下高性能计算模型中的分析模块就会对数据库中的数据进行深入分析和分类,从而根据不同的协议建立数据仓库,通过对数据的挖掘从而发现基本的时间变化规则,最终提交给大数据环境下高性能计算模型中的数据处理系统生成模块,对大数据环境下高性能计算模型中可能出现的一切数据进行全面的监测,一旦监测到索引的数据,就会进行提示,并重复以上步骤。
大数据环境下高性能计算模型中的数据处理技术在很大程度上,填补了过去传统动态解决计算模型中数据处理问题上的不足,为大数据环境下高性能计算模型数据处理的构建提供了有力的方法和手段。
2 大数据环境下高性能计算模型关键技术研究
2.1 基于分布式内存计算的并行二路空间连接算法
基于分布式内存计算的并行二路空间连接算法使大数据环境下高性能计算模型中一项较为常用的算法,最早是由J. Kennedy和R. C. Eberhart等开发的。
基于分布式内存计算的并行二路空间连接算法具有自组织性强以及并行二路空间连接速度快等特点。
但由于基于分布式内存计算的并行二路空间连接算法,主要是通过随机解出以迭代的方式寻找出目标的方式,虽然收敛速度、参数选取、收敛性等许多方面都具有一定的优势,但是由于基于分布式内存计算的并行二路空间连接算法的缺点是,比较容易陷入局部的搜寻最优解,而基于分布式内存计算的并行二路空间连接算法的全面搜索的能力实际上比较的差。
因而,基于分布式内存计算的并行二路空间连接算法经常是通过分为三种状态,分别是活跃、预休眠以及休眠状态,对三种状态之间的相互切换,可以很好的实现调度策略,可在很大程度上实现对监测范围内进行有效地索引,从而最大限度的延长大数据环境下高性能计算模型生存周期的目的。
基于分布式内存计算的并行二路空间连接算法能够在很大程度上有效的保证数据通过索引模块对数据的索引,从而为大数据环境下高性能计算模型提供更高的可靠性,非常有效的避免了大数据环境下高性能计算模型中可能出现的盲区或者是索引数据冗余等情况的出现。
而基于分布式内存计算的并行二路空间连接算法实际上是对于数据索引和处理模式进行并行的索引和处理方式,索引通过模式索引后的数据,必须要与索引之前的原模式等价,虽然这会在很大程度上有效的避免过多数据搜索冗余的情况,并且能够通过减少索引目标的能量消耗,非常有效和全面的提高索引的利用率。
但基于分布式内存计算的并行二路空间连接算法实际上将每个不同的数据,都看作是在一定维度搜索范围中的一个数据,并在搜索范围内以一定的并行速度进行搜索,这就必然使得在数据处理某些优化的问题时,往往会出现过早收敛的情况,所以基于分布式内存计算的并行二路空间连接算法在一定程度上还需要进一步的优化
[3]。
2.2 基于分布式内存计算的并行多路空间连接算法
基于分布式内存计算的并行多路空间连接算法由于通过采用并行多路的空间连接方式,因此在面对海量的大数据的情况下,能够比基于分布式内存计算的并行二路空间连接算法有更大的优化,但毫无疑问,基于分布式内存计算的并行多路空间连接算法比基于分布式内存计算的并行二路空间连接算法在能源消耗的问题上更加严重,如何能够通过降低能源的消耗,从而实现延长大数据环境下高性能计算模型的寿命,这已经成为了当前基于分布式内存计算的并行多路空间连接算法需要考虑的重要课题。
一般来说,基于分布式内存计算的并行多路空间连接算法多是通过充分考虑到了所有数据范围内可能出现的能量消耗的均衡性,以数据的位置信息为依据的层次进行的一种拓扑控制算法,从而根据目标数据的感知半径,将目标范围分别划分为等大小的多个网格,并通过让数据索引模块尽量处于休眠的状态,保证每个网格中只有簇头数据保持活跃。
当进入索引状态时候,基于分布式内存计算的并行多路空间连接算法就会通过一个数据代替另一个数据进行替换的方式,从而可以得知某一个数据点,以及其他数据点的精确位置,从而实现两个相邻的网格内的数据,或者所有网格内的数据索引和处理的方式,在这种情况下,所有的数据在网格当中都相当于是等价的存在,通过等价数据的确定,可以提高单簇的索引面积和单跳的索引面积,在很大程度上,有效的避免了个别簇头数据因其过多参与到数据的替换过程中而消耗能量的方式。
可以说这是目前,基于分布式内存计算的并行多路空间连接算法能够减少能源消耗,延长大数据环境下高性能计算模型唯一方法[4]。
3 结束语
大数据的环境下高性能计算模型及关键技术的研究因其能够不断提升对海量数据的采集、处理、传输、存储的方式和方法,在索引和处理的过程中有效的保證数据的完整性和及时性,避免大数据环境下数据索引、采集、处理等过程中可能出现的各种数据丢失或数据溢出等情况的发生,因此,关于大数据环境下,高性能计算模型及关键技术的研究具有非常重要的积极意义。
参考文献:
[1]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考机[J].中国科学院院刊,
2015,27(6):647-657.
[2]陈国良,毛,蔡哗.高性能计算及其相关新兴技术[J].深圳大学学报(理工版),2014(11):124-125.
[3]陈国良,孙广中,徐玄,等.并行计算的一体化研究现状与发展趋势[J].科学通报,2016(3):1143-1147.
[4]沈盛或,刘哲,张平仓,等.一种适用于云计算可扩展高分辨率遥感影像
存储组织结构[J].长江科学院院报,2014,31(12):107-112.。