基于强化学习的推荐系统分享
基于深度强化学习的视频直播推荐系统研究
基于深度强化学习的视频直播推荐系统研究近年来，随着互联网技术的飞速发展，视频直播成为越来越多人的主要娱乐方式。
与此同时，由于视频直播平台的种类繁多，用户很难找到自己感兴趣的内容，这也引发了视频直播推荐系统的研究和开发。
基于深度强化学习的视频直播推荐系统可以帮助用户快速找到自己喜欢的内容，提高直播平台的用户粘性和收入。
本文将探讨基于深度强化学习的视频直播推荐系统的研究现状和未来发展趋势。
一、深度强化学习在视频直播推荐系统中的应用深度强化学习是一种机器学习算法，可以用来解决多步决策问题。
在视频直播推荐系统中，深度强化学习可以通过不断尝试不同的推荐策略，通过奖励的方式来学习最优的推荐策略。
具体来说，深度强化学习可以通过以下几个方面来提高直播推荐系统的效果：1.个性化推荐深度强化学习可以根据用户的历史观看记录、用户的兴趣爱好、用户的社交网络等因素来进行个性化推荐。
根据不同用户的个性化需求，推荐出不同的视频内容，提高用户的观看体验。
2.实时推荐直播平台的内容更新速度非常快，深度强化学习可以通过实时的推荐算法，实时为用户推荐最新的视频内容，提高用户粘性和平台收益。
3.多维度推荐深度强化学习可以综合考虑用户的观看历史记录、用户的行为数据、视频标签、视频主播的影响力等多种因素，进行多维度推荐，提高推荐准确率和用户满意度。
二、基于深度强化学习的视频直播推荐系统研究现状目前，深度强化学习的应用已经在视频直播推荐系统上有了一定的进展。
针对个性化推荐，研究人员提出了基于用户历史观看记录和用户的社交网络关系来进行推荐的方法。
针对实时推荐，研究人员提出了基于深度强化学习的实时推荐算法。
针对多维度推荐，研究人员提出了融合用户兴趣爱好、观看历史记录和视频标签的方法。
此外，研究人员还提出了一些新的模型来提高推荐系统的效果。
比如，基于图卷积神经网络的视频推荐模型，可以通过对用户和视频之间的关系进行建模，提高推荐准确率。
又比如，基于深度对抗生成网络的视频推荐模型，可以生成符合用户需求的视频内容，提高用户满意度。
基于深度强化学习的智能推荐系统设计与实现
基于深度强化学习的智能推荐系统设计与实现随着互联网的普及和人们生活方式的变化，日益复杂的信息需求和海量数据已经成为普通人的日常问题。
为了解决这一问题，智能推荐系统已经逐渐成为了各大平台上重要的一环，帮助人们快速找到符合自己兴趣爱好的内容。
其中，基于深度强化学习的智能推荐系统得到了广泛关注和研究。
一、智能推荐系统的定义智能推荐系统是一种信息过滤系统，可以自动地推荐用户感兴趣的数据、信息或者服务。
它可以根据用户的历史记录和兴趣爱好，自主地学习和推断，然后为用户推荐理想的内容。
智能推荐系统广泛应用于电子商务、社交媒体、新闻资讯、音视频娱乐等领域，为用户提供更加个性化、精准的服务。
二、智能推荐系统的实现方式智能推荐系统主要分为基于内容的推荐和基于协同过滤的推荐两种方式。
基于内容的推荐是一种根据物品特征和用户偏好来评估推荐物品的方法。
而基于协同过滤的推荐则是一种根据相似用户或物品之间的关系来给用户推荐物品的方法。
智能推荐系统的关键技术包括数据获取和处理、特征工程、模型训练和选取、评估和优化等等。
三、深度强化学习在智能推荐系统中的应用深度强化学习是指利用神经网络模拟人类大脑认知过程，通过与环境的交互不断学习和优化最优策略的一种机器学习技术。
深度强化学习在智能推荐系统中可以用于学习用户的行为模式和兴趣偏好。
具体来说，深度强化学习的应用流程包括状态空间的建模、动作策略的选择、奖励函数的设计和模型优化等步骤。
其中，状态空间建模主要是把用户的交互行为和物品的特征向量映射到一个高维空间中；动作策略的选择则是指根据当前状态选择一个最优的推荐物品；奖励函数的设计则是为了引导智能推荐系统的优化过程，使其在长期效益上得到最优的回报；模型优化则是使模型的训练过程更加稳定和高效，在更短的时间内实现优化目标。
四、深度强化学习在智能推荐系统中的案例分析深度强化学习已经在电商、社交媒体等领域得到了广泛的应用。
以淘宝为例，淘宝在智能推荐系统中利用基于深度强化学习的“神算子”模型，准确预测用户的购买行为和购买偏好，自主生成推荐列表，提高了用户的购买转化率和平均订单额。
强化学习在推荐系统中的应用
强化学习在推荐系统中有许多应用，主要集中在以下几个方面：
1. 推荐算法优化：强化学习可以通过环境响应的反馈进行自我调整和优化，对于推荐系统来说，可以结合用户反馈数据和模型预测结果进行策略优化，以达到更好的推荐效果。
例如，基于策略深度强化学习的协同过滤推荐算法可以有效地解决传统协同过滤推荐准确率低的问题。
2. 用户行为预测：强化学习可以通过模型预测用户的行为意向，从而提前做出推荐，提高用户满意度。
例如，基于Q-learning算法的推荐系统可以通过对用户历史行为的分析，预测用户未来的兴趣变化，进而进行提前推荐。
3. 冷启动问题解决：强化学习可以处理冷启动问题，通过对新用户的兴趣建模和行为预测，可以更好地推荐适合他们的内容。
例如，基于深度强化学习的推荐系统可以结合用户历史数据和实时数据，通过强化学习找到最优的推荐策略。
4. 社交网络推荐：强化学习可以结合社交网络信息，根据用户之间的社交关系进行推荐。
例如，基于强化学习的社区推荐算法可以通过社交网络信息预测用户之间的兴趣相似性，进而进行精准推荐。
5. 实时决策制定：强化学习可以在实时环境中进行决策，根据环境反馈快速调整策略，适用于动态变化的推荐场景。
例如，基于Actor-Critic算法的推荐系统可以通过实时更新模型参数，根据用户反馈快速调整推荐策略，提高推荐准确率和响应速度。
总的来说，强化学习在推荐系统中的应用可以提高推荐准确率、解决冷启动问题、处理实时决策、结合社交网络信息等方面具有显著优势。
强化学习在推荐系统的应用
强化学习在推荐系统的应用推荐系统是指通过分析用户的历史行为和个人偏好，为其提供个性化、精准的推荐信息，以提升用户体验和满足其需求。
而强化学习作为一种基于智能体与环境的交互学习方式，通过不断尝试和奖励机制来训练智能体，使其能够自主地做出决策，这种学习方式也在推荐系统中得到了广泛应用。
一、强化学习与推荐系统的结合强化学习的核心思想是通过不断尝试和奖励机制来优化智能体的决策能力。
在推荐系统中，我们可以将推荐算法看作智能体，而用户行为数据和反馈可以看作环境。
通过智能体不断与用户行为数据进行交互，系统能够根据用户的反馈来优化推荐结果，提供更加准确的推荐信息。
二、基于强化学习的推荐算法1. Q-Learning算法Q-Learning是一种经典的强化学习算法，其核心思想是通过建立一个Q值表，记录智能体在不同状态下采取各个动作所获得的累计奖励值。
在推荐系统中，我们可以将用户的历史行为作为状态，将推荐结果作为动作，奖励值可以根据用户的反馈来计算。
通过不断更新Q值表，系统能够学习到在不同状态下采取不同动作时获得最大奖励的策略，从而提供更为精准的推荐结果。
2. 深度强化学习算法深度强化学习是将深度学习与强化学习相结合的一种方法，在推荐系统中也得到了广泛应用。
通过构建深度神经网络模型，系统能够对大规模的用户行为数据进行建模和学习，并通过不断优化网络参数来提高推荐准确度。
深度强化学习算法能够更好地处理推荐系统中的大规模数据和复杂特征，提高推荐结果的精确性和个性化程度。
三、强化学习在推荐系统中的优势1. 自主决策能力与传统的推荐算法相比，强化学习可以使智能体具备自主决策的能力。
智能体可以通过与用户行为数据的交互学习到用户的个性化偏好，并根据反馈来不断调整推荐策略。
这种自主决策能力能够更好地适应用户的变化需求，提供更加准确的推荐信息。
2. 个性化推荐能力由于强化学习算法可以根据用户的个性化偏好来进行学习和优化，因此其在个性化推荐方面具有明显优势。
强化学习在智能推荐系统中的应用
强化学习在智能推荐系统中的应用在当今数字化的时代，信息的爆炸式增长使得人们在获取所需内容时面临着巨大的挑战。
智能推荐系统应运而生，旨在为用户提供个性化、精准的推荐，以提高用户体验和满意度。
强化学习作为一种强大的机器学习技术，在智能推荐系统中发挥着越来越重要的作用。
强化学习的核心思想是通过与环境的交互，让智能体学习到最优的行动策略，以获得最大的累积奖励。
在智能推荐系统中，用户就是环境，推荐的物品就是智能体的行动，用户的反馈（如点击、购买、评分等）则是奖励。
通过不断地尝试和调整推荐策略，系统能够逐渐学习到哪些物品更符合用户的兴趣和需求，从而提供更优质的推荐。
传统的推荐系统通常基于协同过滤、内容过滤等技术。
协同过滤依赖于用户的历史行为数据，找到具有相似兴趣的用户，然后向目标用户推荐这些相似用户喜欢的物品。
内容过滤则根据物品的特征和用户的偏好特征进行匹配推荐。
然而，这些方法存在一些局限性。
例如，协同过滤可能会面临冷启动问题，即对于新用户或新物品，由于缺乏足够的历史数据，难以进行准确推荐。
内容过滤则需要对物品和用户偏好进行精确的特征提取和建模，这往往是一项复杂且具有挑战性的任务。
强化学习为解决这些问题提供了新的思路。
它能够动态地适应用户的实时反馈，实时调整推荐策略。
例如，当用户对某一类型的物品表现出短暂的兴趣时，强化学习能够迅速捕捉到这一信号，并在后续的推荐中增加相关物品的比例。
同时，强化学习还可以处理复杂的多目标优化问题，如在提高用户满意度的同时，考虑推荐的多样性和新颖性。
在实际应用中，强化学习在智能推荐系统中的实现通常包括以下几个关键步骤。
首先是状态的定义，即对用户和推荐系统所处的情况进行准确描述。
这可能包括用户的历史行为、偏好、当前的上下文信息（如时间、地点等），以及系统中可用的物品集合等。
然后是动作的选择，即确定要向用户推荐的物品。
这通常基于当前的状态和学习到的策略。
接下来是奖励的设计，这是强化学习中的关键环节，需要精心设计以准确反映推荐的效果。
基于多智能体强化学习的个性化推荐系统
基于多智能体强化学习的个性化推荐系统个性化推荐系统是近年来互联网领域的热点研究方向之一。
传统的推荐系统主要基于用户的历史行为数据进行推荐，但这种方法往往没有考虑到用户的个性化需求和兴趣偏好的多样性。
为了解决这个问题，研究者们开始将多智能体强化学习应用于个性化推荐系统。
多智能体强化学习是一种机器学习方法，旨在通过智能体之间的合作与竞争来解决复杂的决策问题。
在个性化推荐系统中，智能体可以是用户、商家或平台，它们通过学习和交互来优化推荐结果。
首先，个性化推荐系统需要获取用户的个人信息和兴趣偏好。
这些信息可以通过用户的行为数据、社交网络数据等来获得。
例如，通过分析用户在电商平台上的购买记录、浏览记录、评论等，可以了解用户的购物偏好、品味、口味等个性化信息。
然后，个性化推荐系统需要建立适合多智能体强化学习的推荐模型。
强化学习是通过智能体与环境的交互来学习最优行为策略的方法。
在个性化推荐系统中，智能体可以通过与用户的交互来学习用户的兴趣偏好和反馈信息。
例如，当用户对推荐结果进行评分或反馈时，智能体可以通过学习用户的反馈来不断优化推荐结果。
为了提高个性化推荐系统的效果，多智能体强化学习可以引入奖励机制。
通过设置适当的奖励函数，可以引导智能体在推荐过程中更加关注用户的个性化需求和兴趣偏好。
例如，当用户对某一条推荐结果进行正向的评分时，可以给予智能体正向的奖励，从而增强该推荐结果出现的概率。
此外，多智能体强化学习还可以考虑推荐系统中的多样性问题。
传统的个性化推荐系统往往倾向于给用户推荐与其历史行为相似的内容，导致推荐结果缺乏多样性。
通过引入多智能体的竞争机制，可以使不同智能体之间推荐的内容更加多样化，从而提高推荐系统的多样性。
综上所述，基于多智能体强化学习的个性化推荐系统是一种新颖而有效的推荐方法。
它通过智能体之间的学习和交互，不仅能够满足用户的个性化需求，还可以提高推荐系统的效果和多样性。
相信随着技术的不断进步和发展，多智能体强化学习将在个性化推荐系统中发挥越来越重要的作用。
基于强化学习的产品推荐系统
基于强化学习的产品推荐系统产品推荐系统在现代电子商务中扮演着重要的角色，能够为用户提供个性化的推荐服务，帮助用户发现感兴趣的产品。
而强化学习作为一种机器学习方法，可以通过与环境的交互来实现智能决策。
本文将介绍基于强化学习的产品推荐系统的原理和应用。
一、强化学习简介强化学习是机器学习的一个分支，主要研究智能体如何在环境中做出决策，以使得累积奖励最大化。
与传统的机器学习方法相比，强化学习更加强调与环境的交互，学习者通过不断试错和反馈来提高自己的决策能力。
二、产品推荐系统的挑战产品推荐系统的目标是为用户提供个性化的推荐结果，然而在实际应用中，推荐系统面临着各种挑战。
首先，产品的种类繁多，用户的兴趣也各不相同，如何从海量的产品中准确地推荐出用户感兴趣的内容是一个难题。
其次，用户的兴趣可能会随着时间的变化而改变，推荐系统需要及时地对用户的兴趣进行更新。
此外，推荐系统还要考虑到用户的行为偏好、社交关系等因素，以提高推荐的准确性和个性化程度。
三、基于强化学习的产品推荐系统基于强化学习的产品推荐系统通过与用户的交互来学习用户的偏好，并根据用户的反馈进行推荐。
下面介绍基于强化学习的产品推荐系统的基本原理。
1. 状态、动作和奖励在强化学习中，智能体与环境的交互可以看作是一个序列的状态、动作和奖励。
在产品推荐系统中，状态可以表示用户的特征向量，动作可以表示推荐的产品，奖励可以表示用户对推荐产品的反馈。
2. 策略和价值函数策略是指智能体根据当前状态选择动作的方式，可以是确定性的或概率性的。
价值函数用于评估状态或者状态动作对的价值，可以表示为累积奖励的期望。
推荐系统可以通过优化策略和价值函数来提高推荐的准确性和个性化程度。
3. 强化学习算法常见的强化学习算法包括Q-learning、SARSA、Deep Q-Network(DQN)等。
这些算法可以通过不断与用户的交互来更新策略和价值函数，从而实现个性化的产品推荐。
四、基于强化学习的产品推荐系统的应用基于强化学习的产品推荐系统已经在多个领域得到了应用。
基于深度强化学习的推荐系统研究
基于深度强化学习的推荐系统研究随着互联网和智能设备的不断普及，人们的生活与信息呈现更加紧密地联系在一起。
在这种趋势下，推荐系统在商业应用和科学研究中的地位逐渐凸显。
然而，早期的推荐系统多依赖于基于规则的方法和基于协同过滤的算法，由于受限于数据和模型设计，这些方法存在着一些问题，如推荐精度低、算法解释性差等。
而近年来，深度学习和强化学习技术的新兴兴起为推荐系统的提升带来了新希望。
本文主要探讨基于深度强化学习的推荐系统的研究进展。
一、深度学习与推荐系统深度学习是一种强大的机器学习技术，它通过建立深层次的神经网络来实现对数据的自动抽象和特征提取。
深度学习和推荐系统的结合可以帮助提升推荐的准确率和效率，丰富推荐结果的多样性，并拓展推荐的应用领域。
具体来说，深度学习可以用于推荐模型中的特征抽象和过滤器的训练，从而有效地提升推荐准确率和效率。
传统的基于规则和协同过滤的推荐方法，主要依赖于手动构建的特征和相似性矩阵。
相比之下，深度学习方法在特征抽象方面更加优秀，可以使用深度卷积网络（Deep Convolutional Networks, DCN）、循环神经网络（Recurrent Neural Networks, RNN）和长短时记忆网络（Long Short-Term Memory, LSTM）等结构进行设计。
二、深度强化学习与推荐系统与传统的深度学习方法不同之处在于，深度强化学习能够让模型在与环境交互的过程中逐步学习并优化决策策略，从而完成推荐任务。
在深度强化学习框架下，推荐模型能够将推荐过程看作一个马尔可夫决策过程（Markov Decision Process, MDP），并通过强化学习算法来优化当前状态下推荐意见的决策策略。
因此，深度强化学习能够更好地解决推荐系统中的问题，如数据稀疏、冷启动、长尾效应等。
在深度强化学习领域，许多研究工作已经开始在推荐系统中应用。
三、基于深度强化学习的推荐系统应用案例1、Deep Reinforcement Learning for Online Advertising (DeepMind, 2016)DeepMind团队利用强化学习技术，并基于双重深度Q网络（Double Deep Q-Networks，DDQN）的修改版本，进行了在线广告投放的强化学习实验，获得了优秀的效果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Critic使用价值函数根据state和Actor给出的action计算当前的Q值，
55 /73
RL&Recsys
问题定义
目标对象：
Recommender Agent (RA)
环境：
User/模拟器
性质：
符合马尔科夫决策(MDP)过程
56 /73
RL&Recsys
问题定义
st
s1
s2
s3
s4
32 /73
强化学习
Actor计算方式
33 /73
强化学习
Actor计算方式
每次进行游戏的概率为：
与Actor无关
34 /73
强化学习
Actor计算方式
35 /73
强化学习
Actor计算方式
36 /73
强化学习
Critic基本框架
s
数值
第一步：定义网络结构 第二步：定义损失函数 第三步ctor
… …
left
0.7 0.2 0.1
right
fire
通过概率 采取下一 步的动作
第一步：定义网络结构 第二步：定义损失函数 第三步：选择最优的模型
29 /73
强化学习
Actor基本框架
30 /73
强化学习
Actor计算方式
31 /73
强化学习
Actor计算方式
如果是正值
如果是负值
41 /73
强化学习
s
Q function原理
0.6
a
数值
s
0.3 0.1
42 /73
强化学习
Q function
Actorcritic
decreas e increase
QLearning
直接求Q函数的最大值
已经知道了Q函数的参数
43 /73
强化学习
Critic基本框架
TD or MC
44 /73
强化学习
Q-Learning
45 /73
强化学习
使用TD方法求Q(s,a)
固定住
固定住
46 /73
强化学习
经典算法TD-Learning
经验 回放
增加一些噪声 TD or MC
Actor
=
47 /73
强化学习
DDPG Algorithm
Using target networks
The target networks update slower
2
3
强化学习
基本概念
强化学习（ Reinforcement Learning，RL）是指没有任何标
签的情况下，通过先尝试做出一些行为得到一个结果，通
过这个结果是对还是错的反馈，调整之前的行为，这样不
断的调整，算法能够学习到在什么样的情况下选择什么样
的行为可以得到最好的结果。
25 /73
强化学习
基本过程
基于强化学习的推荐系统
1 /73
目录S
目录
01 02 03
推荐系统
Recommendation System
强化学习
Reinforcement Learning
基于强化学习的推荐系统
Deep Reinforcement Learning for List-wise Recommendations
2 /73
推荐系统 基于内容的推荐算法 文本推荐方法 基于内容的推荐算法 基于潜在语义分析的推荐
自适应推荐
推荐系统 基于内容的推荐算法 1.文本推荐方法
根据历史信息构造用户偏好文档,计算推荐项目与 文档的相似度,将最相似的项目推荐给用户.
采用TF-IDF方法： Term Frequency： 词频 Inverse Document Frequency： 逆向文件频率 相似度计算公式：
根据余弦相似度计算项目间相似度
根据计算出来的相似度估计评分
推荐系统 基于模型的推荐
采用统计学、机器学习、数据挖掘等方法，根据 用户历史数据建立模型，并产生合理推荐。
简单的评分模型：
推荐系统 基于模型的推荐 基于朴素贝叶斯分类的推荐 基于模型的推荐 基于线性回归的推荐
基于马尔科夫决策过程的推荐
推荐系统 基于模型的推荐
推荐系统
目录
1、协同过滤推荐算法 2、基于内容的推荐
3、基于图结构的推荐
4、混合推荐&其他推荐算法 5、推荐系统的评价准则
3 /73
推荐系统 协同过滤推荐算法 基于用户(user-based)的推荐 1、基于记忆的推荐 基于项目(item-based)的推荐 基于朴素贝叶斯分类的推荐
2、基于模型的推荐
…
sN
at
a1
a2
…
aK
r(st, at)
r1
r2
…
rK
57 /73
RL&Recsys
问题定义
58 /73
RL&Recsys
模型框架
st
s1
s2
s3
s4
…
sN
at
a1
a2
…
aK
r(st, at)
r1 5 s3 s4
r2 0 s5
… … …
rK 1 a1 ak
st+1
59 /73
RL&Recsys
1.基于朴素贝叶斯分类的推荐 朴素贝叶斯分类方法的前提是假设样本的各个属性 相互独立
由朴素贝叶斯假设可得：
=
推荐系统 基于模型的推荐
2.基于线性回归的推荐
线性预测模型： u=(x1,x2,… ,xn)表示用户u对n个项目的评分 p=(a1,a2,… ,an)表示评分系数、 m表示偏差
推荐系统 基于模型的推荐
3.基于马尔科夫决策过程MDP的推荐
借鉴强化学习(reinforcement learning)的思想,把推荐过程建模为 MDP最优决策问题,即如何产生一个能最大用户收益的推荐项目列表. 将MDP模型定义为一个4元组(S,A,R,Pr) 推荐过程对应的MDP过程：
1
2
推荐系统 基于模型的推荐 除以上介绍的方法外,基于模型的协同过滤方法还 包括基于聚类的Gibbs抽样方法,概率相关方法和极大 熵方法等. 基于模型的协同过滤算法能在一定程度上解决基于 记忆的推荐算法面临的主要困难,在推荐性能上更优,但 通常算法复杂,计算开销大.
·基于内容融合到协同过滤的方法中
其他推荐：基于关联规则（啤酒-尿布）和基于知识的推荐
推荐系统 评价准则
1.平均绝对误差(mean absolute error,MAE) 用于度量推荐算法的估计评分与真实值之间的差异.
2.均方根误差(root mean squared error,RMSE) RMSE是Netflix竞赛（电影推荐）采用的评价准则.RMSE值越小,算法 的准确度越高.
26 /73
强化学习
五元组（S,A,R,P,������）
1.State(S)： 智能体所有可能处于的状态。
2.Action(A)：智能体可以采取的所有可能的动作空间的集合。
3. Reward(r)：环境的即时返回的奖励值，以评估智能体的
上一个动作。
left right
fire
4. P：状态转移的概率，描述从当前状态转移到下一状态。
模型框架
例如给用户推荐两个物品，每个物品的回报如下： 因此这两个物品的最终回报会出现以下几种排列： {(0, 0), (0, 1), (0, 5), (1, 0), (1, 1), (1, 5), (5, 0), (5, 1), (5, 5)}, 计算两个行为的相似性：
滑动 0
点击 1
购买 5
推荐系统 基于内容的推荐算法 3.自适应推荐
主题向量 特征向量 正例文本
特征 提取
是
非正例文本 偏好模板 训练集 相似度>阈值
阈值 调整
否
是否成立
阈值
3
推荐系统 基于图结构的推荐算法
用户项目矩阵可建模为二部图，节点表示拥护和项目， 借鉴动态网络资源分配过程。该方法的推荐过程如下： m个项目 X X X X ①建立推荐二部图. X
推荐系统 评价准则
3.查全率(recall) 用于度量推荐列表中是否包含了用户偏好的全部项目.
4.查准率(precision) 用于度量推荐列表中是否都是用户偏好的项目.
Li表示推荐算法为用户i产生的推荐列表, Ri表示测试集中用户i偏好的全部项目.
强化学习
目录
1
基本概念 算法原理 算法框架
24 /73
研究背景
输入state输出所有action的Q-Value,这种模型适合高 state空间和小的action空间，如Atari; 不能够处理大
的以及动态变化的action，比如电子商务的推荐系统；
53 /73
RL&Recsys
研究背景
针对state和action作为神经网络的输入，直接输出Q-Value 这种网络结构不需要在内存中存储每一个action对应的QValue，因此可以处理非常庞大的action空间、甚至是连续 的动作，但是这种结构的时间复杂度较高，因为需要单独计
基于线性回归的推荐 基于马尔科夫决策过程的推荐
1
推荐系统 协同过滤推荐算法
User-item rating matrix
用户-项目评分矩阵
推荐系统 基于记忆的推荐 1.基于用户(user-based)的推 荐
根据余弦相似度计算用户间相似度
根据计算出来的相似度估计用户评分：（2.5）
推荐系统 基于记忆的推荐 2.基于项目(item-based)的推荐