处理大批量文本数据

如何批量处理文本文件
最近数据堂为了弄数据挖掘比赛提供了一批用户行为日志数据。

对于以前没玩过的数据，我是特别的好奇。

处理这批文本文件确实花了不少时间。

数据以不同的日期作文件夹分别存放，每个文件夹中又有近一千个文本文件，每个文件都是一个用户的行为日志。

为了分析这些数据，首先需要将这两万个文本文件读入R中，再用字符串函数进行处理成结构化的数据。

处理方法如下：
library(stringr)
setwd('D:\\kaggle\\tang\\data')
data<- read.table('data.csv',T,sep=',')
# 读入文档地址
path <- 'D:\\kaggle\\tang\\data\\behavior'
<- dir('D:\\kaggle\\tang\\data\\behavior')
<- list()
fre <- numeric()
for(i in1:length()){
[[i]]<- dir(paste(path,[i],sep='\\')) fre[i]<- length([[i]])
}
dir<- rep(,fre)
<-unlist()
<- character()
for( i in1:length(dir)){
[i]<-
paste(path,dir[i],[i],sep='\\')
}
# 建立抽取主函数，返回列表
data.get <- function(){
#获取文本
temp <- readLines(,encoding='UTF-8')
if(length(temp)<=2)return(NA)
# 用户编号
id <- str_match(,"[A-Z0-9]{32}")
# 调查日期
day <- str_match(,"\\d+-\\d+-\\d+")
# 开机时点
clock <-str_sub(str_match(,'_\\d{2}-'),2,3) # 切分转换文本函数
trans <- function(x){
res <- unlist(str_split(x,"\\[=\\]|<=>"))
# res <- str_extract(x, "[^<=>]+\\.[a-z]+")
return(res)
}
# 将文本切开转为列表
result <- lapply(temp,trans)
# 开机时长
opentime <- as.numeric(result[[1]][2])
# 先进行时间分析，由于有的信息不是按顺序排列，所以要按时点重排
# 时点抽取
time<- unlist(lapply(result[-c(1:2)],function(x) x[2])) time<- as.numeric(time)
# 时点排序，然后重排result列表
new.res <- result[-c(1:2)][order(time)]
# 返回用户使用的程序向量
prog <- unlist(lapply(new.res,function(x) x[4]))
# 各程序使用时间
time<- unlist(lapply(new.res,function(x) x[2]))
time<- as.numeric(time)
time[length(time)+1]<- opentime
time<- diff(time)
prog.time <- data.frame(prog=prog,time=time)
progtime <-
dcast(prog.time,prog~.,sum,value.var='time')
names(progtime)<- c('program','time')
# 使用的软件个数
numofsoft <- nrow(progtime)
# 真实使用时长
realtime <- sum(progtime$time,na.rm=T)
return(list(id=as.character(id),day=as.character(day),
clock = as.numeric(clock),opentime=opentime, numofsoft = numofsoft,
realtime= realtime,progtime=progtime))
}
所有的文件名都已经存在变量中，用上面建立好的函数data.get 来提取第一份文件中的信息
> data.get([[1]])
$id
[1]"0143692D264FD906F10B8ECAB0F139D1"
$day
[1]"2012-05-07"
$clock
[1]12
$opentime
[1]7771
$numofsoft
[1]9
$realtime
[1]7610
$progtime
program time
1 360chrome.exe 1237
2 360leakfixer.exe 3
3 360Safe.exe 12
4 360sd.exe 20
5 explorer.exe 510
6 iexplore.exe 5473
7 liveupdate.exe 6
8 popup_QQ.exe 44
9 QQ.exe 305
通过电子邮件发送BlogThis!共享给Twitter共享给Facebook 标签：数据预处理
7 条评论:
1.
Tracy Su11/26/2012 11:19 下午
好文！
回复
2.
Ameen Zhao12/05/2012 12:45 上午
如果只是读取txt文件，能否用read.table一次性引入R？比如：路径是
c:/RCODE,文件是file1.txt,file2.txt,......,file100.txt.
回复
回复
1.
写长城的诗12/05/2012 8:33 上午
应该要写一个循环吧
3.
匿名12/07/2012 2:17 下午
像这种大量却简单的数据清洗整合转换等用几行awk就可以了写起来简单
速度还快
回复
回复
1.
写长城的诗12/07/2012 8:53 下午
是啊，会linux是上策
回复
4.
数据海洋12/28/2012 11:52 上午
肖兄，一定要把你这篇文章发到中统上去。

回复
回复
1.
写长城的诗12/28/2012 3:28 下午
没问题啊，不过这只是搬运数据的粗活，呵呵
添加评论。