社会网络分析中的机器学习技术综述

合集下载

社会网络大数据分析

社会网络大数据分析

社会网络大数据分析社会网络大数据分析一、引言本文档旨在介绍社会网络大数据分析的基本概念、方法和技术,以及其在不同领域应用的案例分析。

社会网络大数据分析是运用统计学、机器学习和数据挖掘等方法,对大规模社会网络数据进行分析和挖掘,从而揭示社会网络中的潜在模式、关系和趋势。

通过深入研究社会网络大数据,我们可以获得对用户行为、社交关系、舆情动态等方面的深刻理解,进而为商业决策、社会管理和政策制定提供重要参考。

二、社会网络大数据分析的基本概念1.社会网络:指由一组节点和连接这些节点的边组成的结构。

节点可以代表个人、组织或其他实体,边表示节点之间的关系。

2.大数据:指传统数据处理工具无法高效处理的海量、高维度的数据集合。

社会网络中产生的数据量庞大,包含了各种类型的数据,如文本、图像、视频等。

3.数据分析:包括数据清洗、数据建模、数据挖掘和数据可视化等过程,旨在从数据中提取有用信息、发现潜在模式和关系。

三、社会网络大数据分析方法1.数据收集:包括爬取互联网数据、采集传感器数据等方式,收集社会网络中的大数据。

2.数据预处理:对收集到的数据进行清洗、去噪和格式转换等操作,以便后续分析使用。

3.社交网络分析:运用图论和网络科学的方法,对社交网络进行结构分析、社区发现和关键节点识别等。

4.文本挖掘:通过自然语言处理和机器学习等技术,对社交网络中的文本数据进行情感分析、主题建模和舆情监测等。

5.图像分析:运用计算机视觉技术,对社交网络中的图像进行人脸识别、图像分类和事件检测等。

6.数据可视化:利用可视化技术将分析结果以图表、地图等形式展示,帮助用户更直观地理解数据和发现隐藏的信息。

四、社会网络大数据分析的应用案例1.商业营销:通过分析社交网络中的用户行为和社交关系,定向广告投放,提高广告精准度和转化率。

2.金融风控:利用社交网络数据分析用户信用风险,优化风控模型,减少信贷风险。

3.社会舆情监测:通过分析社交网络中的用户发布的文本数据,实时监测社会热点、舆情走向,帮助决策者及时作出应对措施。

基于机器学习的网络舆情分析模型研究

基于机器学习的网络舆情分析模型研究

基于机器学习的网络舆情分析模型研究网络舆情是指通过网络平台或工具上大量用户发布的言论和评论,这些言论和评论可以表达对于某个事件或者某个主题的态度或者看法。

网络舆情在当今的社会中具有很大的影响力,可以影响人们的观念、价值观和行为习惯。

因此,对网络舆情的分析和研究是非常必要和具有实际意义的。

机器学习是一种通过计算机自动学习并提高其性能的方法,可以应用于网络舆情分析中。

机器学习可以对大量的数据进行深入的分析,从而挖掘出数据的潜在规律和关联,能够更好地分析网络舆情。

网络舆情分析可以用于各个领域,例如政治、经济、文化等等。

尤其在政治领域,网络舆情分析更是具有重要的意义。

政治舆情的动态和趋势对公共事务管理和决策制定具有重要作用。

利用机器学习技术对网络舆情的政治性进行监控和分析,能够帮助政府制定更加准确和完善的政策,提高公共决策的效率。

在经济领域,网络舆情分析可以帮助企业分析市场趋势和消费需求,从而更好地制定营销策略。

在文化领域,网络舆情分析可以用于文化产品的宣传和推广。

机器学习算法是网络舆情分析模型的重要组成部分。

常见的机器学习算法有支持向量机、神经网络、决策树等等。

这些算法可以对大量的数据进行分类和预测,从而准确地分析和预测网络舆情的走向。

对于政治性的网络舆情,一些特定的算法可以用于分析热点事件的动态和趋势,挖掘出事件背后的深层逻辑和规律。

在文化领域,算法可以对用户的口味和消费习惯进行分析和预测,从而更好地推广文化产品。

网络舆情分析模型的还需要考虑到数据来源的多样性和数据的可靠性。

网络舆情的来源千差万别,包括互联网、微博、微信等等社交媒体平台。

因此,设计一个完整的网络舆情分析模型需要考虑到各种数据来源的特性,并且对不同数据进行合理的整合和分析。

另外,数据的可靠性也需要考虑。

在一些特定的事件中,如果数据来源不准确或者存在重大偏差,可能会对分析结果产生严重影响。

为了提高数据的可靠性,必须对数据来源进行筛选和审核。

社会网络分析在社会科学研究中的发展现状与未来趋势分析

社会网络分析在社会科学研究中的发展现状与未来趋势分析

社会网络分析在社会科学研究中的发展现状与未来趋势分析社会网络分析是一种应用数学和统计学方法来研究人际关系和群体互动的方法。

随着信息技术的迅速发展,社会网络分析在社会科学研究中扮演着越来越重要的角色。

本文旨在探讨社会网络分析在社会科学研究中的发展现状,并展望未来的趋势。

1. 社会网络分析的发展现状社会网络分析起源于20世纪30年代的心理学研究。

通过分析人与人之间互动的模式和结构,社会网络分析提供了一种新的视角来理解社会行为和社会关系。

随着计算机和网络技术的快速发展,社会网络分析得到了极大的推进。

在过去的几十年里,社会网络分析在许多领域都取得了重要的成果。

在社交网络中,研究者通过分析用户之间的连接模式和信息传播路径,揭示了社交媒体的结构和运作机制。

在组织网络中,社会网络分析被应用于揭示组织内部的信息流动和决策路径,为组织研究提供了新的视角。

此外,社会网络分析还在流行病学、经济学、教育学和政治学等领域中得到了广泛的应用。

2. 社会网络分析的未来趋势随着数字化时代的到来,社会网络分析将继续发展,未来的趋势可从以下几个方面展望。

首先,社会网络数据的增长和多样化将推动社会网络分析的发展。

随着移动互联网的普及和大数据技术的成熟,人们在社交媒体平台和在线社区中产生的数据呈指数增长。

这些数据包含了丰富的社会关系和行为信息,为社会网络分析提供了更多的研究材料。

其次,社会网络分析将与其他分析方法相结合,形成跨学科的研究新领域。

随着机器学习和人工智能的迅速发展,社会网络分析可以与这些技术相结合,通过对社会网络数据的模式和规律进行预测和建模。

这将使得社会网络分析能够更好地解释人类行为和社会变化的动力。

第三,社会网络分析将关注网络中的权力和影响力。

社会网络中的权力和影响力对社会行为产生着重要影响。

未来的研究将更加关注权力结构和信息传播中的潜在影响因素,以更好地理解社交媒体和组织中的信息传播和社会影响机制。

最后,随着社会网络数据的增长和隐私问题的引发,社会网络分析将面临伦理和法律挑战。

人工智能在社会学中的应用

人工智能在社会学中的应用

人工智能在社会学中的应用近年来,随着人工智能技术的飞速发展,它在各个领域的应用也越来越广泛。

而在社会学领域中,人工智能的应用也展现出了独特的价值。

本文将介绍人工智能在社会学中的应用,并探讨其中的挑战和机遇。

人工智能技术在社会学领域的应用,可以帮助社会学家更好地理解和研究社会现象。

首先,通过大数据分析和机器学习算法,人工智能可以提供海量的社会数据,帮助社会学家发现和分析具有代表性的社会模式和趋势。

例如,可以利用人工智能技术对社交媒体平台上的用户行为进行分析,以研究人们的社交网络结构和信息流动。

这些数据和分析结果可以为社会学家提供更全面的研究材料,并为他们在社会变迁、社会关系和社会问题等方面的研究提供支持。

其次,人工智能还可以通过自然语言处理和情感分析等技术,帮助社会学家更好地理解和解释社会现象。

社会学研究中的大量文本材料,如社会调查问卷、采访记录和社会媒体内容等,常常需要耗费大量的时间和精力进行处理和分析。

而利用人工智能技术,可以实现对这些文本的快速分类和情感分析,从而帮助社会学家快速获取有关社会现象和社会问题的信息。

例如,可以利用人工智能技术对新闻报道进行主题分类,以了解社会关注的焦点和热点问题。

此外,人工智能还可以在社会学中发挥辅助决策的作用。

社会学研究中的决策常常需要依靠复杂的判断和权衡。

而人工智能可以通过模拟和预测技术,提供多种可能性和结果的模拟,帮助决策者更好地理解和评估决策的影响和后果。

例如,在城市规划中,可以利用人工智能技术对城市的交通模式和人口流动进行模拟,来评估不同规划方案对交通拥堵和人口流动的影响。

然而,人工智能在社会学中的应用也面临一些挑战。

首先是数据隐私和伦理问题。

社会学研究中常常涉及到个人和社会群体的隐私信息。

人工智能在利用社交媒体数据等信息时必须遵守相关的法律和伦理规范,保护数据的隐私和安全。

另一个挑战是对人工智能决策的可解释性和公平性的要求。

人工智能技术虽然可以提供有效的决策支持,但其内部的逻辑和判断过程往往是不透明的。

基于机器学习的微博网络舆情分析研究

基于机器学习的微博网络舆情分析研究

基于机器学习的微博网络舆情分析研究随着互联网的快速发展,人们的社交媒体使用也越来越普及,微博作为中国最受欢迎的社交媒体之一,吸引了大量用户的参与和关注。

然而,与此同时,微博上爆发的各种言论、舆论也给社会和个人带来了很大的影响。

因此,对微博网络舆情进行分析和研究,已经成为一个非常重要的课题。

为了更好地理解微博网络舆情,研究者们开始采用机器学习技术进行分析。

机器学习是一种通过模型和算法让计算机从数据中自动学习和改进的技术,它可以帮助我们从庞大的微博数据中提取有价值的信息。

首先,基于机器学习的微博网络舆情分析需要对数据进行收集和预处理。

微博是一个充满噪声和干扰的平台,因此需要使用相应的技术来清洗和过滤数据。

例如,可以去除重复的微博和垃圾信息,并进行情感分析将微博划分为正面、负面和中性。

其次,机器学习可以帮助我们构建情感分析模型来判断微博的情感倾向。

通过使用标记好的微博数据集进行训练,我们可以建立一个分类器,用于自动识别微博的情感态度。

这样一来,我们就可以在海量的微博数据中迅速判断出用户对特定事件或话题的情绪态度,从而更好地理解舆情。

此外,机器学习还可以应用于主题分析。

通过分析微博中的关键词和上下文信息,我们可以使用聚类算法来识别不同话题下的微博。

这有助于我们发现和跟踪不同的舆情事件,并了解用户对这些事件的不同观点和讨论。

值得注意的是,机器学习在微博网络舆情分析中的应用并非一成不变的。

随着新的技术和算法的不断涌现,我们可以不断改进和优化分析模型,以提高分析的准确性和效果。

例如,近年来,深度学习和自然语言处理技术的发展使得我们能够更好地理解微博的语义和语境,从而更好地识别用户情感和观点。

此外,我们还可以结合其他技术来丰富微博网络舆情分析的内容。

例如,网络图谱和社交网络分析可以帮助我们了解微博用户之间的关系和影响力,从而更好地理解舆情的传播和影响机制。

对于微博网络舆情的分析和研究,在纵向上,我们可以通过时间序列分析来追踪舆情的演变和变化趋势;在横向上,我们可以将微博网络舆情与其他媒体数据进行比较,以获得更全面和准确的舆情分析结果。

《2024年基于深度学习的人脸识别方法综述》范文

《2024年基于深度学习的人脸识别方法综述》范文

《基于深度学习的人脸识别方法综述》篇一一、引言随着人工智能技术的飞速发展,人脸识别技术已成为当今社会关注的热点。

作为计算机视觉领域的重要分支,人脸识别技术在安全监控、身份认证、智能交互等多个领域得到了广泛应用。

深度学习技术的出现为人脸识别提供了新的解决方案,使得人脸识别的准确性和效率得到了显著提升。

本文旨在综述基于深度学习的人脸识别方法,分析其原理、技术特点及发展趋势。

二、深度学习在人脸识别中的应用深度学习是一种模拟人脑神经网络结构的机器学习方法,通过构建多层神经网络来提取数据的深层特征。

在人脸识别领域,深度学习主要应用于特征提取和分类识别两个阶段。

1. 特征提取特征提取是人脸识别的关键步骤,其目的是从原始图像中提取出能够表征人脸特征的有效信息。

深度学习通过构建卷积神经网络(CNN)等模型,自动学习从原始图像中提取出高维度的特征表示,这些特征对于人脸识别任务具有较好的鲁棒性和区分性。

2. 分类识别分类识别是利用已提取的特征进行人脸匹配和识别的过程。

深度学习通过构建全连接层、支持向量机(SVM)等模型,对提取的特征进行分类和识别。

在人脸识别任务中,深度学习可以有效地提高识别的准确性和效率。

三、基于深度学习的人脸识别方法基于深度学习的人脸识别方法主要包括基于深度神经网络的人脸识别方法和基于深度学习的三维人脸识别方法。

1. 基于深度神经网络的人脸识别方法该方法通过构建多层神经网络模型,对人脸图像进行特征提取和分类识别。

常见的模型包括卷积神经网络(CNN)、深度置信网络(DBN)等。

这些模型能够自动学习和提取出高维度的特征表示,提高了人脸识别的准确性和鲁棒性。

2. 基于深度学习的三维人脸识别方法该方法利用三维信息来提高人脸识别的准确性和鲁棒性。

通过构建三维模型来获取人脸的立体信息,再结合深度学习技术进行特征提取和分类识别。

这种方法对于姿态变化、表情变化等复杂场景具有较好的适应性和鲁棒性。

四、技术特点及发展趋势基于深度学习的人脸识别方法具有以下技术特点:1. 高效性:深度学习能够自动学习和提取出高维度的特征表示,提高了人脸识别的效率和准确性。

大规模数据分析与机器学习

大规模数据分析与机器学习随着互联网的普及和物联网的发展,我们每天都在与海量数据打交道。

各类社交网络、搜索引擎、应用程序、传感器和设备不断产生着数据,人们从中获取信息,作出决策,改善生活。

如何从这些数据中获得有效的知识和预测结果,让机器做出正确的决策,这就是大规模数据分析和机器学习的核心问题。

一、什么是大规模数据分析大规模数据分析(Big Data Analytics)是指对大规模、高维度、异构性、动态变化的数据集进行有效、可靠、高效的分析、处理、存储和应用的技术和方法。

在过去的几年中,随着Hadoop、Spark 等大数据处理框架的兴起,越来越多的企业开始深入挖掘他们所拥有的数据。

通过大规模数据分析,企业可以更好地理解市场趋势、产品销售情况、客户行为等,从而调整战略,提高创新力和竞争力。

二、什么是机器学习机器学习(Machine Learning)是一种人工智能的分支,是构建预测模型或决策模型的方法和技术。

它使用计算机程序来自动化改进其性能,通过学习数据模式、发现规律和生成预测结果。

机器学习主要分为三种:监督学习、无监督学习和强化学习。

监督学习是指通过给计算机输入大量已知答案的数据来训练模型,让计算机能够准确预测未知数据的答案。

无监督学习是指通过输入大量未标记的数据来训练模型,让计算机自己发现数据的分类和聚类规律。

强化学习是指通过让计算机不断尝试并获得反馈来学习优化行为策略,从而得到最优解。

三、大规模数据分析与机器学习的结合大规模数据分析和机器学习在很多领域都有广泛的应用,它们的结合可以发挥更大的威力。

在大规模数据分析中,机器学习技术可以用于数据预处理、特征选择、分类、聚类、预测等方面。

例如在金融领域,机器学习被广泛用于异常检测、欺诈检测、信用评估等方面。

在医疗领域,机器学习被广泛用于疾病预测、诊断、治疗和药物研发等方面。

在智能家居领域,机器学习被广泛用于人脸识别、语音识别、智能控制等方面。

机器学习模型需要大量的训练数据来学习和优化,而大规模数据分析为机器学习提供了丰富的数据源。

社会网络分析的理论与实践

社会网络分析的理论与实践社会网络分析是研究个体之间关系的学科,是一种结构化的方法,通过对节点和边的分析,研究网络中的关系,从而分析其背后的结构和动态。

社会网络分析在社会学、心理学、经济学、管理学、计算机科学等领域都有广泛的应用,成为当下热门的研究领域。

一、社会网络分析理论社会网络分析涉及众多理论,最为重要的有社会资本、规模自由网络、弱关系理论和力量中心理论等。

社会资本理论指出个体通过网络中的关系和结构获取资源、信息以及机会等,从而影响其社会地位和行为。

社会资本可以分为结构性、认知性和关系性三种类型,其中结构性资本主要涉及个体在网络中的位置和连接,认知性资本则强调知识和信息,而关系性资本则关注人际关系和社会支持。

规模自由网络理论指出网络中的节点数量并不影响其典型属性的变化,即随着节点数目的增加,网络中节点度数分布的形态不会发生明显改变,从而推断显著的大规模社会网络属性的存在。

这一理论在社交媒体分析、社会细胞建模、人类互动网络等领域得到广泛应用。

弱关系理论是著名社会学家格兰诺维特提出的,其主要观点是“帮助我们获得额外和重要的信息的是我们那些结交广泛的弱关系,而非那些结交密切而亲密的强关系”。

换句话说,弱关系虽然不如强关系密切亲密,但其价值在于可以连接多个社群,为个体提供更全面的信息和资源。

力量中心理论是社会网络分析中的又一个重要理论,指出网络中存在一些节点,其在关系体系中的地位和影响远比其他节点都要大。

这些节点具有很强的影响力和控制力,可以掌控网络的信息传播和决策过程。

二、社会网络实践实践上,社会网络分析主要通过数据收集、网络建模、分析和可视化等步骤完成。

数据收集包括手工调查、问卷调查、文本挖掘、公共API等方式,数据获取渠道多样而广泛。

网络建模则涉及动态分析、静态分析、数据清理和归一化等方面的工作,其目的就是构建一个可用于分析和模拟的网络模型。

分析和可视化则是最关键的部分之一,其中常见的技术包括传统的社会网络分析、基于机器学习和深度学习的分析、以及使用可视化图表呈现网络结构和动态变化的方式。

人工智能技术方向概述

人工智能技术方向概述人工智能(Artificial Intelligence,简称AI)是指利用计算机模拟、扩展和增强人类智能的技术和方法。

它的发展历经了数十年的进化和突破,如今已经应用于各个领域,对人类社会产生了巨大的影响。

本文将对人工智能技术方向进行概述。

首先,人工智能的核心是模拟人类智能的能力。

这种模拟可以是通过实现感知、理解、学习、推理、决策和创造等一系列与人类智能相关的过程和能力来实现的。

人工智能技术方向主要包括机器视觉、自然语言处理、机器学习和深度学习等。

机器视觉是人工智能中的一个重要方向,其目的是让计算机能够模拟人类的视觉能力。

机器视觉技术主要包括图像处理、模式识别、目标检测和图像生成等。

通过这些技术,计算机可以识别和理解图像中的内容,并进行相应的处理和决策。

自然语言处理是另一个重要的人工智能技术方向,其目标是让计算机能够理解和处理人类语言。

自然语言处理技术主要包括语音识别、机器翻译、文本生成和语义分析等。

通过这些技术,计算机可以和人类进行自然的语言交流,并进行相关的任务和应用。

机器学习是人工智能的核心方法之一,其主要目标是让计算机能够通过学习和经验积累来改进自己的性能。

机器学习技术主要包括监督学习、无监督学习和强化学习等。

通过这些技术,计算机可以从大量的数据中自动提取特征和规律,并进行相关的决策和预测。

深度学习是机器学习的一个重要分支,其主要思想是通过构建多层神经网络来模拟人脑的神经连接方式。

深度学习技术主要包括卷积神经网络、循环神经网络和生成对抗网络等。

通过这些技术,计算机可以实现更深入和复杂的学习和推理过程,从而提高其在各个任务和领域的性能。

除了上述技术方向,人工智能还涉及到其他一些重要的领域和应用,例如智能机器人、智能驾驶、智能音箱和智能医疗等。

这些领域和应用都依赖于人工智能技术的支撑,并且在实现人与机器之间更紧密交互和合作方面起到了关键性的作用。

总之,人工智能技术方向涵盖了多个重要的子领域和方法,这些方法和技术旨在模拟和扩展人类智能。

人工智能技术在社会科学研究中的应用

人工智能技术在社会科学研究中的应用随着科技的不断发展,人工智能技术在各个领域的应用越来越广泛。

社会科学研究作为一门关注人类社会行为和社会现象的学科,也开始逐渐运用人工智能技术来进行研究和分析。

本文将探讨人工智能技术在社会科学研究中的应用,并分析其优势和挑战。

一、人工智能技术在社会科学研究中的应用领域1. 数据分析与预测社会科学研究需要大量的数据来支持理论和结论的建立。

传统的数据收集和分析方法往往耗时耗力,而且容易受到主观因素的影响。

而人工智能技术可以通过自动化的方式收集和分析大量的数据,提高数据的准确性和效率。

同时,人工智能技术还可以通过对历史数据的分析和模型的建立,进行未来趋势的预测,为社会科学研究提供更准确的预测结果。

2. 社会网络分析社会网络分析是社会科学研究中的重要方法之一,它通过分析人际关系网络来研究社会结构和社会行为。

人工智能技术可以通过对社交媒体等大数据的分析,帮助研究者更好地理解社会网络的结构和演化规律。

同时,人工智能技术还可以通过对社交媒体上用户行为的分析,揭示人们的社会行为和心理特征,为社会科学研究提供更深入的洞察。

3. 文本分析与情感分析社会科学研究中经常需要对大量的文本进行分析,以了解人们的观点、态度和情感。

传统的文本分析方法往往需要人工参与,效率低下且容易受到主观因素的影响。

而人工智能技术可以通过自然语言处理和机器学习等方法,对大量的文本进行自动化的分析和情感判断。

这不仅提高了分析的效率,还减少了主观因素的干扰,使研究结果更加客观和准确。

二、人工智能技术在社会科学研究中的优势1. 提高研究效率传统的社会科学研究方法往往需要大量的人力和时间投入,而人工智能技术可以通过自动化的方式进行数据收集和分析,大大提高了研究的效率。

研究者可以更快地获取和处理大量的数据,从而更快地得出结论和发现。

2. 提高研究准确性人工智能技术可以通过对大量的数据进行分析和模型的建立,提高研究的准确性。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第31卷第3期南京邮电大学学报(自然科学版)2011年6月JournalofN蚰jingUniversityofPostsandTelecommunications(NaturalScience)V01.31No.3

Jun.2011

社会网络分析中的机器学习技术综述陈可佳(南京邮电大学计算机技术研究所,江苏南京210046)

摘要:机器学习是智能数据分析的有力工具,可以对社会网络数据进行建模。文中讨论了机器学习技术在社会网络分析(SocialNetworkAnalysis,简称SNA)领域中的应用,尤其综述了对象分类、链接预测、群体检测等SNA子任务中的机器学习技术。此外,还分析了在SNA中使用机器学习技术所面临的若干问题和挑战,最后给出了SNA中机器学习技术的研究前景。关键词:社会网络分析;机器学习;链接挖掘中图分类号:TP39文献标识码:A文章编号:1673-5439(2011)03-0083-07

MachineLearningTechniquesinSocialNetworkAnalysis:ASurvey

CHENKe-jia

(InstituteofComputerTechnology,N删ingUniversityofPostsandTelecommunications,Nanji“g210046,China)

Abstract:Asapowerfultoolforintelligentdataanalysis,machinelearningcan

beusedtomodelsocial

networkdata.Thepaperpresentsanoverviewoftheapplicationofmachinelearningtechniquesinsocialnetworkanalysis(SNA),includingthetaskofobjectclassification,linkprediction,groupdetection,and

SOon.ThepaperalsoanalyzesseveralproblemsandchallengesofmachinelearninginSNA,and

finally

discussestheprospectsofmachinelearningresearchinSNA.

Keywords:socialnetworkanalysis;machinelearning;linkmining

0引言在过去的半个世纪,社会网络一直是社会学、社会心理学和人类学的活跃的研究领域。早在上世纪70年代,Zachary…就曾研究了大学空手道俱乐部中的社会连接与竞争关系。如今,社会网络涵盖了社会和技术的网络,以及具有内在社会结构的信息系统。随着因特网的发展,出现了很多社会网络数据,包括在线社区(如Facebook、LiveJournal等)、电邮交换网络、博客(blogging)网络、在线文献发表数据库等。这些数据的规模较大,例如,某实验室在3个月中形成了含436个节点的电邮交换网络旧o;一个大学在两年内形成了含43553个节点的电邮交换网络【3‘;LiveJournal的博客网络含有400多万个节点‘引。

收稿日期:2010-02-27;修回13期:2011-01-05基金项目:南京邮电大学引进人才基金(NY209013)资助项目通讯作者:陈可佳电话:18912963366E—mail:kejia.chen@gmail.com

目前,人工智能领域中的机器学习技术逐步成为数据分析的有力工具,在疾病诊断、天气预报、地震预警、网络安全、搜索引擎等领域发挥着重要的作用。因此,研究者试图使用机器学习技术分析社会网络,挖掘社会网络数据中的规律与模型,并帮助更好地设计在线社会网络。由于社会网络分析包含很广泛的任务,本文仅介绍其中一些较为核心的任务,列举当前机器学习技术在这些任务中的若干应用,分析运用机器学习方法进行社会网络分析存在的典型问题。最后,本文为将来可能的一些研究方向提供一些思路。

1社会网络分析在计算机科学中,社会网络分析是一个非常新

万方数据南京邮电大学学报(自然科学版)2011年的研究领域,可以看成网络知识发现或网络挖掘(webmining)的一个分支,涉及了数据挖掘、机器学

习、多agent学习、信息抽取与检索、安全等不同领域。2007年,ACMKDD会议举办了第一届社会网络分析知识发现和挖掘会议(SNA—KDD),介绍了社会网络分析的一些研究成果,内容包括社会网络知识发现、社会网络建模、基于agent的社会网络模拟等。1.1社会网络社会网络是复杂网络(complexnetwork)的一种,用于对社团组织中人们的交互进行建模。社会网络由个人或团体以及他们之间存在的各种关系所组成。这些关系包括:朋友关系∞-6],博客间的评论、追踪(trackback)关系"o,标签系统(taggingsys—terns)中用户间的协作标签关系旧1等。在信息网络中,电子邮件(email,简称电邮)是人们获取广泛分布社会网络的重要途径,对电邮的分析可以提取出相应的社会网络。此外,还有许多在线的社会网络站点一J,其特征为:(1)在一个受限系统中构建一个公共的个人资料(profile);(2)连接系统中一系列的其他用户;(3)通过这些链接浏览他人的信息。社会网络分析主要对网络中的关系进行分析,得到群体或社团(community)的信息。因此,社会网络分析可以用于检测可信任的重要用户¨…、过滤垃圾邮件n1。、提高网络搜索性能¨引、防止Sybil攻击‘”3等。Freeman【14]提出,社会网络分析必须具备4个特征:(1)较注重行为者之间的联系(tie),而不是行为者本身的性质;(2)行为者之间的联系数据以系统化方法收集;(3)建立于图模型之上;(4)使用数学和计算工具从中获取有用信息。1.2社会网络的表示方式社会网络通常是用直观的“图”来表示。图中的节点表示行为者,图中的链接表示行为者之间的关系。节点的表示内容并不单一。假设社会网络中的行为者执行了一些事件,我们可以用行为者节点和事件节点来表示。如果一个行为者参与了一个事件,则这个行为者节点和这个事件节点之间就存在一条边。反之则没有边。然而,我们还可以从另一个角度看待这个社会网络,将行为者表示为节点,两个行为者之间的边则表示这两个行为者参与了同一个事件(例如,两个作者共同撰写一篇论文)。这是以行为者为中心的表示方法。此外,我们还可以将事件作为节点,两个事件节点的链接表示有行为者参与了这两个事件。这是以事件为中心的表示方法。图分为有向图(如贝叶斯网络)和无向图(如Markov网络)两种。一般来说,社会网络可以表示成一个有向图G=(y,E),每个节点t,∈V,图中的有向边<u,秽>∈E。加时间标签t后,<M,秽>。表示当节点秽或者边<M,秽>在某个时刻t加人图中。数据表示的选择对于社会网络分析有着重要影响。针对一个具体的问题,选择合适的社会网络表示形式是值得研究的。1.3社会网络的性质分析社会网络首先需要研究社会网络本身的属性。社会网络具有无标度(scale—free)特性,网络度的分布遵循幂律(power—law)。社会网络的直径小,图中的边趋向于局部聚类。以MSN信息网络为例,它的平均路径长为6.6,且90%的节点可通过8步达到‘15|。

Kleinberg¨刮提出了一个模型,解释社会网络的

小世界(small—world)现象。Leskovec等人u刊提出了森林火(forest—fire)图模型,解释了弓l用图中的直径减小现象。Mislove等人¨副对多个在线社会网络(Flickr、LiveJournal等)的结构特征进行分析,证实了在线社会网络的幂律、小世界和无标度属性。他们观察到:用户节点的人度与出度相匹配;网络包含一个紧密连接的、高度的节点核心;这个核心连接了网络边缘一小组强聚类的低度节点。作为一种动态网络,社会网络中的链接随着时间不断变化,新的点和边不断加入到图中。对于动态性的理解是一个复杂问题,而理解两个特殊点之间的连接关系则较为容易,如两点为何相连、随时间如何改变、如何受其他点的影响。Kumar等人¨刚研究了大型在线社会网络的动态结构模型。他们采用了经典的方法,用不同时间点的图的快照来推断网络增长过程。另一些研究者还研究了社会网络的描述特征。Backstrom等人旧1分析了LiveJournal和DBLP两个社会网络中的组群结构,得到8个组群特征和6个个体特征,并发现了一个非常有效的特征:如果在一个组群中存在某个个体的朋友且这些朋友相互也是朋友,则这个个体更可能加入这个组群。Lewis等人嵋川介绍了基于Facebook站点的一个新的公共数

万方数据第3期陈可佳:社会网络分析中的机器学习技术综述85

据集和其中的5个特征,从中得到描述性别、种族、社会经济状态等的子群。除了节点和链接本身的属性之外,社会网络的结构特征,也常作为数据处理对象。社会网络分析经常使用如下的结构特征∞2|:(1)网络密度(density):描述网络节点的链接水平,一般定义为图(子图)中的边数(或其占最多可能边数的比例);(2)中心度(centralitymeasures):度量某个节点的结构重要性。几种常用的中心度为:度(de.gree)、紧密度(closeness)和介数(betweennesscen—trality)E23];(3)结构同等(structuralequivalence)和结构洞(structuralholes);(4)特征路径长度(characteristicpathlength):描述两个节点之间的一般距离;(5)聚类系数(clusteringcoefficient):在某个节点的所有邻居节点中,节点之间的边数占所有可能边数的比例。Karamon等人Ⅲ1设计了一系列的算子(opera.tors),系统地产生网络特征。他们通过实验发现,在社会网络中的所有可能表征(indices)中,广泛使用的特征如中心度和特征路径长度是尤为有用的。随着对社会网络研究的不断深入,出现了越来越多的社会网络分析任务,如节点排序(objectrank—ing)、节点分类(objectclassification)、链接预测(1inkprediction)、群体检测(groupdetection)等,从而也将机器学习技术引入到社会网络分析中去,并取得了初步的研究成果。2社会网络分析与机器学习2.1机器学习机器学习是人工智能的核心研究领域之一。目前被广泛采用的机器学习的定义是“利用经验来改善计算机系统自身的性能”担5|。由于“经验”在计算机系统中是以数据的形式存在的,因此机器学习逐渐成为智能数据分析技术的创新源之一,受到越来越多的关注,并深入到科学研究乃至13常生活中的方方面面。Michalski等人Ⅲo把机器学习研究划分为“从例子中学习”、“在问题求解和规划中学习”、“通过观察和发现学习”、“从指令中学习”等范畴。20世纪80年代以前,被研究最多、应用最广的是“从例子中学习”(即广义的归纳学习),它涵盖了监督学习(如分类、回归)、非监督学习(如聚类)等内容。20世纪90年代以来,连接主义学习(如基于神经网络的学习)以及后来的统计学习(如支持向量机和一些核方法)也随着实际应用逐步发展起来。1997年,Dieuefich【2川讨论了集成学习、可扩展机器学习(例如对大数据集、高维数据的学习等)、强化学习、概率网络等4个方面的研究进展。2008年,他又和Domingos、Getoor等人怛8|一同讨论了未来十年中关系学习、统计关系学习和结构机器学习的发展方向。2.2机器学习技术在社会网络分析中的应用传统机器学习的处理对象是数据实例。这些数据实例往往可以用一个包含多个属性值的向量来表示,并满足独立同分布的假设。而社会网络数据中的节点不是简单的统计上独立的采样点,节点之间存在着联系。因此,使用机器学习技术,需要考虑数据实例之间的关系。这给传统机器学习带来新的挑战,并产生了一个新兴的研究方向——链接挖掘(1inkmining)旧1。通过对链接的分析,我们可以获得关于实例更丰富、更准确的信息。社会网络的结构属性,如节点的度(degree)、连通性(connectivity)等,为分析提供了重要帮助。社会网络中还存在一些复杂的模式,例如子图(可以理解为社团或群体)。如何获得这些复杂模式的信息也给机器学习提出了新的任务。下面依次介绍了目前机器学习在社会网络分析中的应用,主要包括节点排序、基于链接的分类、链接预测、群体检测等方面。2.2.1节点排序节点排序是社会网络分析的一个核心任务,通过分析图中的链接结构,根据中心度对图中的节点进行排序。根据复杂程度的不同,度量可以分为局部度量和全局度量。前者主要是“度中心度”(de.greecentrality),即节点的度数,后者主要为“特征向量/能量中心度”(eigenvector/powercentrality),即通

相关文档
最新文档