Google新闻推荐系统
基于非对称属性的SVD推荐算法的研究
基于非对称属性的SVD推荐算法的研究作者：黄浩来源：《电脑知识与技术》2017年第03期摘要：该文在传统的基于奇异值矩阵分解模型（SVD）的基础上提出一种非对称的协同过滤算法，对电影的评分进行预测。
并在Movielens数据集上实验验证，该算法在平均误差方根（RMSE）上比SVD、SVD++的算法更优。
关键词：电影评分预测；SVD；RMSE；矩阵分解中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）03-0079-021 研究背景推荐系统现已广泛应用于很多领域，其中最典型并具有良好的发展和应用前景的领域就是电子商务领域，比如亚马逊（Amazon）、谷歌新闻（Google News）以及国内的淘宝网等知名互联网巨头。
一般来说，个性化推荐是根据用户的特点或购买行为，向用户推荐其感兴趣的信息。
但同时，随着电子商务规模的不断扩大，商品个数和种类快速增长，用户需要花费大量的时间才能找到自己想买的商品。
这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。
为了解决所谓的“信息过载”问题，针对特定每一个用户的个性化推荐系统应景而生。
特别是近几年来，随着学术界对推荐系统的研究热度不断攀升，已经形成了一门相对独立的学科。
1.1 基于电影评分预测的推荐算法当今社会，人们把欣赏电影当成日常娱乐中一种不可或缺的方式。
有很多电影的评分网站允许用户根据其喜好程度对电影进行评分，比如IMDB，豆瓣以及一些提供在线观看的网站。
然而，对于某个用户而言，并不是所有的电影都观看并且评分了。
对这些缺失的评分有很多算法对其进行预测，其中典型的有基于内容的评分预测和协同过滤算法。
2 实验数据集和评价指标2.1 Movielens数据集实验使用Grouplens网站开放给用户的电影评分数据集，其中Movielens 100K数据集包含943个用户对1682部电影的10万条评分记录（评分范围1-5分，每个用户至少对20部电影进行了评分），此数据集的稀疏度为93.7%。
教你怎么样申请谷歌新闻源 Google News
教你怎么样申请谷歌新闻源Google News虽然google退出了中国市场，不过google在中国的影响力仍然不容小觑，如果自己的小站能够进入Google News，成为谷歌新闻源，无论对提高网站流量还是提高网站影响力都有很大的帮助。
只要你能进入Google News成为谷歌新闻源, 无论竞争再强的关键词，都能在第一页看到你的影子。
那我们是否也可以自己打造一个站点，让Google新闻源收录呢?如果成功的话，就代表着以后不再需要为高竞争度的词发愁了。
下面就来教你如何申请成为谷歌新闻源。
因为谷歌新闻源是人工审核的，而且审核政策对网站制定了一些列的要求，下面是谷歌新闻源对网站的一些技术要求：1：域名唯一Google News不会收录你的主域名之外的域名下的内容，比如你的网站域名为，那么请把所有内容放在这个域名下，如果你搞跨站，连接到其他网站，Google News是不会收录的。
2：文章URLGoogle对新闻源网站的文章URL有硬性规定，文章URL三个独立的数字ID 如果只有两个，不会收录;如果是4个，但是类似年份的，比如aricle2006.htm，不予收录!3：谷歌新闻源不收录论坛评论或者其他用户产生内容的功能，但会收录博客内容，也就是说博客网站可以申请谷歌新闻源，但百度是不收录博客作为新闻源的，这一点也说明了谷歌对原创博客的重视。
另外谷歌新闻源不能收录带有框架以及PDF等其他非html格式的网页，如果你的网站是会员站的话，一定要要保证网站内容的公开性，对于那些需要注册才能看的网站，不予收录!了解了谷歌新闻源的要求后接下来就是申请谷歌新闻源了，下面是谷歌新闻源申请步骤：谷歌新闻源申请地址(谷歌新闻源申请只有英文版但也接受非英文站点的申请)：/support/news_pub/bin/request.py?contact_type=s uggest_content谷歌新闻源申请过程会有些内容需要填写的：1：representative of the site，点yes2：How many authors 网站有几个作者(因为谷歌新闻源不接受单作者的网站)，一般选择6-10个3：Contact info 网站联系页面，联系页面的写法可以参考/contactus4：List of authors, 作者介绍页面，输入我们创建的writers页面地址参考/Writers5：Location info 网站空间位置，就是主机位置6：Content Type 网站类型，选择A site7：Your contact info 联系信息，如实填写，并且保持和域名注册人一致8：Subject 标题，可以写Google News Source Application9: Other comments 写一些其他网站的介绍，比如你的网站经验背景等等。
智能推荐系统研究综述
智能推荐系统研究综述陈彬;张荣梅【摘要】随着互联网的飞速发展,出现了信息过载现象,如何从规模庞大的数据之中为用户推荐出其想要的项目是人工智能领域的一个研究热点.本文综述了推荐系统的发展历程,提出了智能推荐系统的结构框架,分析了比较流行的几种智能推荐技术的核心思想及其优缺点,最后分析了智能推荐技术面临的瓶颈和新的挑战.【期刊名称】《河北省科学院学报》【年(卷),期】2018(035)003【总页数】11页(P82-92)【关键词】协同过滤;关联规则;深度学习【作者】陈彬;张荣梅【作者单位】河北经贸大学信息技术学院,河北石家庄 050061;河北经贸大学信息技术学院,河北石家庄 050061【正文语种】中文【中图分类】TP3991 引言随着互联网的飞速发展和大数据时代的到来，数据呈爆发式增长。
这为我们提供了便捷的同时，也给我们带来了一定的困扰，主要体现在：一是数据过载，这就要求提供大量或大容量的存储设备来跟进存储；二是如何在众多数据中找到用户真正有用，真正需要的信息。
数据运用的好就是无限商机，运用的不好那就只能是存储在磁盘上无穷多的“1”和“0”。
如何帮助用户高效地在浩瀚网络资源中找到有用信息，提高效用性价比，便成为亟待解决的问题。
而智能推荐技术为解决此问题开辟了新思路，且引起人们越来越多的关注。
2 智能推荐技术发展简介1995年3月，卡耐基.梅隆大学的RobertArmstrong等人提出了基于用户当前浏览内容的个性化导航系统Web Watcher；斯坦福大学的MarkoBalabanovic等人推出了LIRA推荐系统；8月，麻省理工学院的Henry Lieberman提出了个性化导航智能体Letizia。
1996年，Yahoo推出了个性化入口My Yahoo!。
1997年，AT&T实验室提出了基于协作过滤的个性化推荐系统PHOAKS和Referral Web。
斯坦福大学的MarkoBalabanovic和Yoav Shoham推出了基于内容和合作方式的个性化推荐系统FAB。
谷歌新闻源收录标准
谷歌新闻源收录标准谷歌新闻源收录标准：1. 新闻源必须是企业或组织拥有的：新闻源必须是有注册公司或营业执照的企业或组织拥有，并且企业、组织、团体或社会团体都可以作为其新闻源收录标准。
2. 新闻源必须是可信赖的：为确保新闻内容的可信和准确性，谷歌要求新闻源提供独立、全面、客观、真实的报道。
3. 新闻源必须有稳定的更新：谷歌收集的新闻源必须有规律的发布和更新内容，所发布的新闻报道必须是最新、具有时间性和及时性的。
4. 新闻源必须是网络友好的：谷歌必须确保新闻源的网站结构合理，页面信息丰富，内容易于索引，链接稳定，能提供高质量的新闻读者全文。
5. 新闻源必须是全球视野的：谷歌新闻收录标准对新闻内容没有国别、宗教、政治等取向的限制，要求新闻内容覆盖国内外，涉及国际新闻、国内新闻、社会新闻、娱乐新闻、天气新闻、科技新闻等。
6. 新闻源必须书面表达良好：谷歌要求新闻报道采用清晰、正确、简洁的书面表达方式，禁止用大量术语、模糊表达和复合句破坏新闻报道的完整性。
7. 新闻源必须有独家报道：要求新闻报道必须是独家报道，不能重复传播其他新闻源的内容，以及报道更多的及时新闻，提供有时间性、有价值和有用的信息为主要特点。
以上就是谷歌新闻源收录标准的全部内容，基于上述标准，谷歌能够收集并提供具有高质量、多样性、准确性和最新性的新闻内容。
例如，由新闻源发布的国内、国际、政治、经济、科技、娱乐和气象等各个方面的新闻内容，都能够被谷歌收集收录。
此外，谷歌还要求新闻内容能够迅速更新，保证新闻的准确性和及时性；新闻内容的书面表达应当清晰、简洁，且要求报道必须是独家报道。
通过以上谷歌新闻源收录标准，消费者都能享受获得新闻消息服务，收到高质量、及时准确的新闻报道，提升新闻质量，并为社会遏制假新闻传播和新闻报道中造假等不良行为提供一定保障。
推荐算法介绍
四、写在推荐之前 - 冷启动问题
3、利用内容特征的相似度 如果是要对一个新内容推荐相关的其他内容，那么可以多多利用内 容特征的相似度。
此外，很多系统在建立的时候，既没有用户的行为数据，也没有充
足的物品内容信息来计算物品相似度。在这种情况下，很多系统都利用 专家进行标注。比如个性化网络电台Pandora雇用了一批音乐人对几万 名歌手的歌曲进行各个维度的标注，最终选定了400多个特征。每首歌 都可以标识为一个400维的向量，然后通过常见的向量相似度算法计算 出歌曲的相似度。
确自己的需要，或者他们的需求很难用简单的关键字来表述，又或者他们需要
更加符合他们个人口味和喜好的结果。 正是由于这种信息的爆炸式增长，以及对信息获取的有效性、有针对性的 需求使得推荐系统应运而生。与搜索引擎相对应，大家习惯称之为推荐引擎。
二、为什么需要推荐算法 - Why
推荐系统的主要任务就是联系用户和信息。对用户而言，推荐系统能帮助 用户找到喜欢的物品/服务，帮忙进行决策，发现用户可能喜欢的新事物；对商 家而言，推荐系统可以给用户提供个性化的服务，提高用户信任度和粘性，增 加营收。我们可以通过一组数据了解推荐系统的价值： Netflix：2/3被观看的电影来自推荐； Google新闻：38%的点击量来自推荐；
六、常用推荐算法介绍
基于协同过滤的推荐 在现今的推荐技术和算法中，最被大家广泛认可和采用的就是基于协同过滤的 推荐方法。
它的原理就是根据用户对物品或者信息的偏好，发现物品或者内容本身的相关
性，或者是发现用户的相关性，然后再基于这些关联性进行推荐。比如你想看一部 电影但不知道看哪部，这时大部分人会问周围的朋友，而我们一般更倾向于从口味 比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。
资源自适应的实时新闻推荐系统
ｅ ｐ ｒ ｎ ｓ ｈ ｗ ａ ｅＥ ｇ ｅ ｗｓｓ ｓ ｍ ｏ ｎ ｙｉ ｒ ｖ ｓ ｈ ｅ ｏ ａ ｃ ， ｂ ｔ ｌｏｐ ｏ ｉ ｅ ｅ ｅ ｅ ｃ ｍｍｅ ｄ ｔｏ ｓ ｌ ． ｘ ｅｉ ｍｅ ｔ ｓ ｏ ｔ ｔ ｈ ａ ｌＮｅ ｙ ｔ ｎ ｔ ｌ ｈ ｔ ｅ ｏ ｍｐ ｏ ｅ ｅｐ ｒ ｒ ｎ ｅ ｔ ｆ ｍ ｕ ｓ ｒ ｖ ｄ ｓ ａ ｒ ｗｓ ｅ ｏ ａ ｂ ｎ ｒ ｎ ａｉ ｎｒ ｕ ｔ ｅ ｓ Ｋｅ ｒ ｓ ｒ ｃ ｍｍｅ ｄ ｒｓ ｓｅ ； ｒ ａ ・ ｍ ｅ ｐ ｒｏ ａ ｉｅ ； ｒ ｓ ｕ ｃ — ｄ ｐ ｉ ｅ ｃ ｎ ｅ ｔ ａ ｅ ｙｗｏ ｄ ： ｅ ｏ ｎ ｅ ｙ ｔｍ ｅ ｌｔ ； ｅ ｓ ｎ ｌ ｄ ｉ ｚ ｅ ｏ ｅ ａ ａ ｔｖ ； ｏ ｔｎ － ｓ ｄ ｒ ｂ
中图法分类号 ：Ｐ ｌ Ｔ ３１
文献标识 码： Ａ
文章编 号 ：００ ０４ ２１）０ ４ ８ ４ １０． ２ （ ０ ２． ８． ７ ０ ４ ０
推荐系统的作用和问题
结构化和非结构化。
元数据之间的结构化的组织（如歌曲的演唱者和演唱者所属的国籍）可以很6.难以明确。
要求用户用几个字词明确表述自己喜好什么样的产品是比较难的，用户的喜好会随着时间变化而改变。
像Google的音乐推荐，对于大部分普通用户而言，那种节奏和音色选择到自己喜好的音乐会比较困难。
推荐系统的意义在于根据用户的历史记录去推测用户的喜好，而不是让用户主动去选择。
7.标签。
用户添加标签是组织数据的手动解决方法，但是也会导致其他问题：非自动化的解决方法会增加用户操作，难以挖掘数据之间的隐形联系。
用户填写标签，由于词语的模糊性会导致标签过多，数据之间的联系会减弱，降低数据之间凝聚力。
用户选择推荐的标签，易于理解的词语会导致数据凝聚力过强，导致数据偏向结构化，不利于用户发现感兴趣的内容。
8.打分机制。
通常是五分制和两分制（喜欢/讨厌），分值越多，用户选择起来越麻烦，需要消除用户评价体系的差异性。
用户协同过滤的内容偏向大众化，可以过滤到低质量的内容，但用户对小众化低分数的内容不一定就不感兴趣。
通过调查问卷的方式，用户会选择每道题，而通过网络非强制性打分，用户不喜欢的内容很有可能不打分或者直接跳到下一个数据。
参考资料：1. 推荐系统的五大问题.《Resys china》2. 个性化推荐系统的研究进展.刘建国，周涛，汪秉宏.《自然科学进展》2009年1月第19卷第1期3. 豆瓣在推荐领域的实践和思考.王守崑4. 从web2.0到推荐引擎2.0.《学而时嘻之》来源：/index.php/archives/1757人人都是产品经理（）中国最大最活跃的产品经理学习、交流、分享平台。
基于bert的新闻文本分类系统的设计与实现
基于Bert的新闻文本分类系统的设计与实现一、概述随着互联网的快速发展，信息爆炸式增长，人们获取信息的方式也日益多样化。
新闻作为社会生活中不可或缺的一部分，其重要性不言而喻。
然而，由于新闻数量庞大，传统的手工分类方式已经难以满足日益增长的分类需求。
设计一个高效、准确的新闻文本分类系统显得尤为重要。
二、Bert模型介绍Bert（Bidirectional Encoder Representations from Transformers）是由Google在2018年提出的一种基于Transformer架构的预训练语言模型。
Bert通过对大型语料库进行无监督的训练，学习了丰富的语言表示，使得它在众多自然语言处理任务中取得了优异的表现。
由于Bert模型具有强大的上下文理解能力和良好的泛化性能，因此在文本分类任务中表现突出。
三、新闻文本分类系统的设计1. 数据收集为了构建一个有效的新闻文本分类系统，首先需要搜集包括多个领域的新闻数据。
通过爬虫技术，从各大新闻全球信息站和新闻客户端中获取新闻文本数据，并进行去重和预处理。
2. 数据预处理对于获取到的新闻文本数据，需要进行文本清洗、分词、去停用词等预处理工作，以便于后续的特征提取和模型训练。
3. 特征提取在特征提取阶段，可以采用Bert模型对文本进行表示，得到文本的向量化表示。
通过这种表示方法，可以保留更多的语义信息，提高分类系统的准确度。
4. 模型训练选择适合Bert模型特点的分类模型，如基于Bert模型的Fine-tuning方法，对特征提取的结果进行训练，以构建出一个高效的分类模型。
5. 系统集成将特征提取和模型训练等步骤集成到一个完整的系统中，实现文本分类的自动化处理和结果输出。
四、新闻文本分类系统的实现1. 数据收集与预处理对于数据的收集工作，可以利用Python语言编写爬虫程序，从多个新闻源全球信息站获取新闻文本数据，并对文本数据进行去重和规范化处理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Google新闻推荐系统
Personalized News Recommendation Based on Click Behavior
Google新闻推荐
We combine the information filtering mechanism using learned user profiles with an existing collaborative filtering mechanism to generate personalized news recommendations.
基于点击日志分析，构建贝叶斯框架，预测用户兴趣，探索新闻趋势
用户兴趣随着时间变化，并且和新闻事件的整体趋势一致
We found that their interests do vary over time but follow the aggregate trend of news events.
文章解决三个问题：
分析海量日志中用户兴趣的一致性
基于用户点击日志（用户的真实兴趣和新闻事件趋势），预测用户新闻事件兴趣
结合信息过滤和协同过滤方法改进推荐精准度
以前的google新闻推荐基于协同过滤方法，存在两个问题。
冷启动：新闻推荐存在及时性问题，需要不断更新，协同过滤需要经过很长的时间收集用户点击日志数据，从而产生推荐
the system cannot recommend stories that have not yet been read by other users For news recommendations, this is a serious
problem, as news service websites strive to present the most updated information to users in a timely manner
用户之间的兴趣是不同的：not all users are equal to each other, and the collaborative filtering method may not account for the individual variability between users。
譬如娱乐新闻一般都比较流行，因此那些没有点击娱乐新闻的用户，也会产生推荐。
The reason is
that entertainment news stories are generally very popular
为了解决这两个问题，需要构建用户画像信息user profile，描述用户的真实兴趣，从而过滤掉那些用户不感兴趣的新闻，譬如上面提到的那些流行的娱乐新闻。
The short-term interest usually is related to hot news events and changes quickly. In contrast, long term interest often reflects actual
user interest.
1用户兴趣日志分析
假设条件：The basic assumption of personalization is that users have reasonably consistent interests
数据集
We examine the anonymized click logs of those Google News users who were signed into their Google account and explicitly enabled history tracking over 14-month period, from 2007/7/1 to 2008/6/30. From users who made at least 10 clicks per month in that period, we randomly sampled 16,848 users. These users are from more than 10 different countries and regions.
点击分布
主题分类：C = {c1, c2 ,..., cn}
Ni表示用户u在t月份在类别i上的新闻点击次数，Ntotal表示该时间内总的点击次数基于时间的用户兴趣变化
Comparison between the click distribution of the month to be predicted and those of previous months
The figure shows that users’ news interests do change over time and their clicks in older history become less useful in predicting their
future interests.
新闻流行趋势
一般新闻变化趋势对个人新闻兴趣趋势的影响
an individual user’s click distribution is more similar to the click distribution of the general public in the same location than to a randomly selected location
日志分析总结
用户对新闻的偏好是随时间变化的
The click distributions of the general public reflect the news trend, which correspond to the big news events
不同地区新闻趋势不一样
To a certain extent, the individual user’s news interests correspond with the news trend in the location that the user belongs to
2通过贝叶斯方法预测用户兴趣
Short-term：通过群体共同的点击模式表示
贝叶斯方法：
（1）predi cts user’s genuine news interests regardless of the news trend, using the user’s clicks in each past time period
（2）the predictions made with data in a series of past time periods are combined to gain an accurate prediction of the user’s genuine news inter ests
（3）predicts the user’s current interests by combining her genuine news interests and the current news trend in her location
预测用户真实兴趣
用户对类目ci的兴趣
组合时间段内的用户兴趣
假设用户对某个新闻感兴趣的先验概率不变预测用户当前新闻兴趣
G表示虚拟点击，平滑作用
3 新闻推荐
Rec(article) = IF(article) ×CF(article)
IF（article）信息过滤，用上述公式
CF（article）协同过滤，来自文章Google news personalization: scalable online collaborative Filtering
参考文献：
（1）Personalized News Recommendation Based on Click Behavior
（2）Google news personalization: scalable online collaborative
Filtering。