细颗粒度的情感分析

训练集和测试集的划分
这时你要考虑你的数据是否不平衡。如果数据不平衡，需要 做处理
模型的选择
由简单到复杂，从最贱的模型开始，尝试效果。
模型优化
尝试模型参数优化，找到最佳参数
模型融合
多模型融合的效果
不平衡数据集的处理
不平衡数据集指的是数据集各个类别的样本量极不均衡
从少数类的样本中进行随 机采样来增加新的样本， 对应Python库imblearn
数据挖掘案例分享—
细颗粒度的情感分析
李正
目录Catalog
1 数据挖掘商业背景
2 数据获取、预处理
3 模型建立
4 模型的应用
01.
商业背景
商业背景
随着互联网的迅速普及，网络上面涌现了大量用户评论信息，这些评论信息表 达了评论者对于产品或者事物的态度或者看法。对评论信息进行深入挖掘分析，可 以为消费者和公司提供相关产品的口碑信息，也可以为政府提供舆情监测分析。
文本向量化——深度学习
4， bert： 自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火、整个ML界略有耳闻的模型。
文本向量化——深度学习
文本向量化
2、sklearn.feature_extraction . TfidVectorizer : 逆文档频率Tfidf考虑到一些非常大众化的词，如“我们”等词，几乎所有或者绝大多数文章都会出现，这些词它们对文本特点刻画
的贡献值就比较小了，所以考虑要考虑再文本含义中有更高贡献的词，这就是逆文档频率的思想。文栏数目越多，关键词在文档出现 的文档数越少，越重要。 计算方式： TF * IDF TF，词频(Term Frequency)， IDF，逆文本频率指数，由总文档数目除以包含该词语之文档的数目，再将得到的商取以10为底的对数。
请在此添加标题
参数优化很重要：
#随机搜索 random_search=RandomizedSearchCV(clf,param_distributions=param_dist,n_iter=n_iter_search,n_job s = jobnum, scoring=‘roc_auc’,cv=5) #逐个搜索 random_search=GridSearchCV(clf,param_grid=param_dist,n_jobs = jobnum, scoring='roc_auc',cv=5
google用了16个TPU集群（一共64块TPU）来训练大号版本的BERT，花了4天时间。对于是否可以复现预训练，作者在 [Reddit]上有 一个大致的回复，指出OpenAI当时训练GPT用了将近1个月的时间，而如果用同等的硬件条件来训练BERT估计需要1年的时间。 不过他们会将已经训练好的模型和代码开源，我们直接利用他们训练好的模型，进行后续任务。
利用模型融合的方法
先通过一次下采样产生训练集，训练一个分类器，对于那些分类 正确的多数类样本不放回，然后对这个更小的多数类样本下采样 产生训练集，训练第二个分类器，以此类推，最终组合所有分类 器的结果得到最终结果。
利用增量训练的思想
请在此添加标题
划分训练集/测试集
sklearn.model_selection .train_test_split
Label编码 OneHotEncoder 把数据变成(1,0,0,...,0),(0,1,0,0,...,0)，该特征属性有多少类别就有多少维
由于sklearn2.0之前OneHotEncoder 不支持字符串类型转换，所有有 LabelEncoder LabelBinarizer = LabelEncoder + OneHotEncoder
“细颗粒度”情感倾向分析又称评论信息挖掘，是指在给定的文章、段落、句 子中挖掘出所需要的评价单元。其研究工作包括评价对象抽取，评价短语抽取，评 价搭配关系抽取，评价极性判断等研究内容。
在线评论的细粒度情感分析对于深刻理解商家和用户、挖掘用户情感等方面有 至关重要的价值，并且在互联网行业有极其广泛的应用，主要用于个性化推荐、智 能搜索、产品反馈、业务安全等。
商业用于
美团系
餐饮类商家的细颗粒度研究，更好的 应用于推荐系统
01
汽车之家
03 车辆性价比研究
携程系
02
酒店机票的细颗粒度去分析
其他电商
04 产品分析、竞品分析
“细颗粒度”情感倾向分析存在着严重的跨领域性差问题。 不可复制，不可拿来主义。
对航班乘坐评价的细颗粒度挖掘
数据标注成本高，起步价0.5元/每条
文本向量化
没考虑文本中词与词之间的上下文关系， 仅仅只考虑所有词的权重。 而权重与词在文本中出现的频率有关 维度灾难、语义鸿沟
文本向量化——深度学习
3， word2vec： word2vec来源于2013年的论文《Efficient Estimation of Word Representation in Vector Space》， 它的核心思想是通过词的上下文得到词的向量化表示，有两种方法：CBOW（通过附近词预测中心词）、Skip-gram（通过中心词预 测附近的词）：
演示完毕 感谢聆听
Thanks for listening
A collection of data that can not be caught, managed, and processed by conven tional software tools within a given time scale,
)
请在此添加标题
模型融合：
Stacking
pre
lr
knn
mnb
rf
xgb
lgb
数据集
04.
模型保存应用
模型保存应用
模型保存应用： 持久化、使用、更新
请在此添加标题
人工干预 增量标注
数据
标注数据 训练模型
模型预测 label
模型保存应用
深度学习依赖海量数据，也需要耗费大量计算资源
20XX
数据喂给分类模型
KNN, Bayesian，Random Forest
融合模型
对分类模型进行融合，保留效果好的 融合模型
特征向量获取
利用bert获取向量
模型评价选择最佳参数
cross_val_score 辅助函数。
模型持久化
模型保存下来用后后续使用 pickle.dumps，pickle.loads
随机采样 过采样
欠采样是从多数类样本中 随机选择少量样本，再合 并原有少数类样本作为新 的训练数据集。随机欠采 样有两种类型分别为有放 回和无放回两种。
随机采样 欠采样
过采样的改进 不平衡数据集指的是数据集各个类别的样本量极不均衡
SMOTE算法的基本思想是对少数类样本进行分析 并根据少数类样本人工合成新样本添加到数据 集中，
SMOTE
原始的SMOTE是对所有少数类样本生成新样本。而改 进的方法则是先根据规则判断出少数类的边界样本 ，再对这些样本生成新样本。
Borderline-SMOTE
欠采样的改进
随机欠采样的问题主要是信息丢失，为了解决信息丢失的问题提出了以下几种改进的方式：
多次过采样（放回采样，这样产生的训练集才相互独立）产生多个不同 的训练集，进而训练多个不同的分类器，通过组合多个分类器的结果得 到最终的结果。 简单的最佳实践是建立n个模型，每个模型使用少数类的所有样本和多数 类的n个不同样本。 假设二分类数据集的正负类比例为50000:1000，最后要得到10个模型， 那么将保留负类的1000个样本，并随机采样得到10000个正类样本。 然后，将10000个样本成10份，每一份与负类样本组合得到新的子训练集 ，训练10个不同的模型。，
02.
数据获取、预处理
Please click enter to Please click enter add text content Please click enter
数据预处理
数据获取1 1，内部数据，2，外源自交流数据，3，爬虫数据数据清洗
2 文本分词(jieba)，剔除重复值，删除空值
2.0之后直接OneHotEncoder更强大
MultiLabelBinarizer一次编码多个类别
03.
模型建立
Please click enter to Please click enter add text content Please click enter
模型建立
01 02 03 04
pip install bert-serving-server pip install bert-serving-client bert-serving-start -model_dir D:\lz\BERT_Classification_Content\BERT_BASE_DIR\chinese_bert-L-12_H-768_A-12 num_worker=1 -max_seq_len=1000 & from bert_serving.client import BertClient bc = BertClient(ip='localhost',check_version=False, check_length=False) vec = bc.encode(['我在赛为工作']) print(vec)
1，基于one-hot、countvec，tf-idf等的bag-of-words； 2，主题模型：LSA（SVD）、pLSA、LDA；SVD求解计算复杂度大， 3，基于词向量的固定表征：word2vec、fastText 4，基于词向量的动态表征：elmo、GPT、bert