数据每天压缩后自动上传FTP的实现方法

CP Datalog每天自动上传Floor Vision的脚本

Phil Mao As of Mar 31, 2015

1、服务器用“天机企业文件同步备份系统”或“Second Copy”把每个测试机台的数据存放

到服务器本地硬盘，注意：本地硬盘的任何文件夹不能带空格（DOS批处理对带空格的文件夹要引号，引号用多了，容易出错。）

2、设定服务器的日期格式为YYYY-MM-DD，如下图

3、在F盘建2个文件夹

F:\ToFVServer\Analog

F:\ToFVServer\Discrete

4、创建下面的脚本，并保存为.bat批处理文件。

1)复制*.st*，如*.std, *.std_1等，并自动上传到Floor Vision

for /d %%f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y

/D:%date:~5,10%-%date:~2,2% %%f\*.st* F:\ToFVServer\Analog // 复制文件

F: //进入F盘

CD ToFVServer\Analog //切换到ToFVServer\Analog目录

for /f %%i in ('dir /b *.*') do (if %%~zi lss 102400 (del /f /q "%%i")) //删除<100K的文件

D: //进入D盘

CD Software\FlashFXP //切换到Software\FlashFXP目录

flashfxp -upload ftp://diodes:Mxme+09@@https://www.360docs.net/doc/845150155.html,

-localpath="F:\ToFVServer\Analog\" -remotepath="/SKE_CP/" –quit //上传完自动退出

F:

CD\

CD ToFVServer\Analog

mkdir F:\ToFVServer\Analog_%Date% //新建Analog_%Date%，存放已上传数据

move *.* F:\ToFVServer\Analog_%Date% //移动文件

2)复制*.jdf，并自动上传到Floor Vision

说明：SKEData在2015这个目录下

for /d %%f in (E:\CPDatalog\Discrete\2015\*, E:\CPDatalog\Discrete\2015\SKEData\*) do xcopy /Y /D:%date:~5,10%-%date:~2,2% %%f\Data\*.jdf F:\ToFVServer\Discrete // 复制文件

F: //进入F盘

CD ToFVServer\Discrete //切换到ToFVServer\Discrete目录

for /f %%i in ('dir /b *.*') do (if %%~zi lss 5120 (del /f /q "%%i")) //删除<5K的文件

D: //进入D盘

CD Software\FlashFXP //切换到Software\FlashFXP目录

flashfxp -upload ftp://diodes:Mxme+09@@https://www.360docs.net/doc/845150155.html,

-localpath="F:\ToFVServer\Discrete\" -remotepath="/SKE_CP/" –quit //上传完自动退出

F:

CD\

CD ToFVServer\Discrete

mkdir F:\ToFVServer\Discrete_%Date% //新建Discrete_%Date%，存放已上传数据

move *.* F:\ToFVServer\Discrete_%Date% //移动文件

5、任务计划程序，创建一个每天23:55分运行的任务，选中上述第4步建立的批处理文件

作为执行文件。数据就可以每天自动上传了。

Analog和Discrete同时上传的脚本：不压缩&删除小于一定大小的数据不完整文件

在F盘建一个文件夹：F:\ToFVServer\rawdata

for /d %%f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y

/D:%date:~5,10%-%date:~2,2% %%f\*.st* F:\ToFVServer\rawdata

F:

CD ToFVServer\rawdata

for /f %%i in ('dir /b *.*') do (if %%~zi lss 102400 (del /f /q "%%i"))

for /d %%f in (E:\CPDatalog\Discrete\2015\*, E:\CPDatalog\Discrete\2015\SKEData\*) do xcopy /Y /D:%date:~5,10%-%date:~2,2% %%f\Data\*.jdf F:\ToFVServer\rawdata

for /f %%i in ('dir /b *.*') do (if %%~zi lss 5120 (del /f /q "%%i"))

D:

CD Software\FlashFXP

flashfxp -upload ftp://diodes:Mxme+09@@https://www.360docs.net/doc/845150155.html,

-localpath="F:\ToFVServer\rawdata\" -remotepath="/SKE_CP/" –quit

F:

CD\

CD ToFVServer\rawdata

mkdir F:\ToFVServer\rawdata_%Date%

move *.* F:\ToFVServer\rawdata_%Date%

补充说明：

同一个语句中，单独运行和批处理运行，变量略有差异，即%和%%。

单独运行：

for /d %f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y

/D:%date:~5,10%-%date:~2,2% %f\*.st* F:\ToFVServer\rawdata

批处理运行：

for /d %%f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y

/D:%date:~5,10%-%date:~2,2% %%f\*.st* F:\ToFVServer\rawdata

数据上传方式的改进：Apr 8, 2015

1、延迟1天或任意天上传

2、数据压缩方式：（1）多个文件一起压缩到1个包内（2）单个文件压缩

先前脚本总结：

优点：

用FlashFXP上传，只要外网是通的，不会出现上传失败的情况。注意要设重新连接和上传次数为9999，防止可能的断网，FlashFXP会自动重连。

缺点：

因为使用Second Copy软件，每隔1小时，2小时或4小时，抓数据，导致原设定的每天23:55自动执行，可能出现当天的部分数据遗漏的情况（即恰逢Second Copy最后一次没有执行）。

所以我增加了很多代码，改成了延迟一天上传：即4月8日只上传4月7日这天的数据，4月7日只上传4月6日这天的数据，以此类推。

代码修改部分：

(1) 用数据方法计算减1天的正确日期：可以修改代码设定延迟任意一天。

(2) 用forfiles命令(Win7, Windows Server 2003及以上包含这个命令）自动删除当天的文件。比如4月8日上传的时候，删除4月8日的文件，防止重复上传。（可以修改代码删除任意天之前或之后的文件）

(3) 计划任务可设定在任意时间点运行：但为了确保数据的完整性，目前我设定在5:00am 之后运行，这样可确保前一天数据的完整性。

Rem //延迟1天，并且TUGzip把多个文件压缩到1个包内，Analog和Discrete 分开压缩//

@echo off

rem Get designated previous date. DaysAgo=1 means get the date 1 day before.

set DaysAgo=1

rem system date format should be yyyy-mm-dd

call :DateToDays %date:~0,4% %date:~5,2% %date:~8,2% PassDays

set /a PassDays-=%DaysAgo%

call :DaysToDate %PassDays% DstYear DstMonth DstDay

set CPYDate=%DstMonth%-%DstDay%-%DstYear%

echo %CPYDate%

rem Begin of Discrete Copy Files and Compress

for /d %%f in (E:\CPDatalog\Discrete\2015\*, E:\CPDatalog\Discrete\2015\SKEData\*) do xcopy /Y /D:%CPYDate% %%f\Data\*.jdf F:\ToFVServer\Discrete

F:

CD ToFVServer\Discrete

del /f/q SP*.jdf

for /f "delims=" %%i in ('dir /b *.*') do (if %%~zi lss 10240 (del /f /q "%%i"))

CD\

forfiles /P F:\ToFVServer\Discrete /M *.* /D %Date% /C "cmd /c del /F /Q @file"

D:

CD\

CD Software\TUGZip

TzScript -v4 DiscreteToFV.tzs

CD\

F:

CD ToFVServer\Discrete

mkdir F:\ToFVServer\Backup\Discrete_%Date%

move *.* F:\ToFVServer\Backup\Discrete_%Date%

CD\

rem End of Discrete Copy Files and Compress

rem Begin of Analog Copy Files and Compress. Uploading Both Discrete and Analog Compressed File.

for /d %%f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y /D:%CPYDate% %%f\*.log

F:\ToFVServer\Analog

for /d %%f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y /D:%CPYDate% %%f\*.st*

F:\ToFVServer\Analog

F:

CD ToFVServer\Analog

for /f "delims=" %%i in ('dir /b *.*') do (if %%~zi lss 102400 (del /f /q "%%i"))

CD\

forfiles /P F:\ToFVServer\Analog /M *.* /D %Date% /C "cmd /c del /F /Q @file"

D:

CD Software\TUGZip

TzScript -v4 AnalogToFV.tzs

CD\

CD Software\FlashFXP

flashfxp -upload ftp://diodes:Mxme+09@@https://www.360docs.net/doc/845150155.html,

-localpath="F:\ToFVServer\temp\" -remotepath="/SKE_CP/" -quit

CD\

F:

CD ToFVServer\Analog

mkdir F:\ToFVServer\Backup\Analog_%Date%

move *.* F:\ToFVServer\Backup\Analog_%Date%

rem End of Analog Copy Files and Compress. End of Uploading Both Discrete and Analog Compressed File.

goto :EOF

:DateToDays %yy% %mm% %dd% days

setlocal ENABLEEXTENSIONS

set yy=%1&set mm=%2&set dd=%3

if 1%yy% LSS 200 if 1%yy% LSS 170 (set yy=20%yy%) else (set yy=19%yy%)

set /a dd=100%dd%%%100,mm=100%mm%%%100

set /a z=14-mm,z/=12,y=yy+4800-z,m=mm+12*z-3,j=153*m+2

set /a j=j/5+dd+y*365+y/4-y/100+y/400-2472633

endlocal&set %4=%j%&goto :EOF

:DaysToDate %days% yy mm dd

setlocal ENABLEEXTENSIONS

set /a a=%1+2472632,b=4*a+3,b/=146097,c=-b*146097,c/=4,c+=a

set /a d=4*c+3,d/=1461,e=-1461*d,e/=4,e+=c,m=5*e+2,m/=153,dd=153*m+2,dd/=5 set /a dd=-dd+e+1,mm=-m/10,mm*=12,mm+=m+3,yy=b*100+d-4800+m/10

(if %mm% LSS 10 set mm=0%mm%)&(if %dd% LSS 10 set dd=0%dd%)

endlocal&set %2=%yy%&set %3=%mm%&set %4=%dd%&goto :EOF

补充TUGzip的脚本内容：蓝色字体部分

DiscreteToFV.tzs

function main()

{

var Comp = new Compress();

Comp.Archive = "F:\\ToFVServer\\temp\\Discrete_Datalog.tar.gz";

Comp.Type = "TGZ";

https://www.360docs.net/doc/845150155.html,pression = 4;

Comp.WorkingDir = "F:\\ToFVServer\\Discrete\\";

Comp.Data = "*";

Comp.Password = "";

Comp.DateExtension = 0;

Comp.TimeExtension = 0;

Comp.Overwrite = 1;

Comp.Recurse = 0;

Comp.StoreFolderNames = 1;

Comp.IncludeHiddenFiles = 1;

Comp.DoCompress();

}

AnalogToFV.tzs

function main()

{

var Comp = new Compress();

Comp.Archive = "F:\\ToFVServer\\temp\\Analog_Datalog.tar.gz";

Comp.Type = "TGZ";

https://www.360docs.net/doc/845150155.html,pression = 4;

Comp.WorkingDir = "F:\\ToFVServer\\Analog\\";

Comp.Data = "*";

Comp.Password = "";

Comp.DateExtension = 0;

Comp.TimeExtension = 0;

Comp.Overwrite = 1;

Comp.Recurse = 0;

Comp.StoreFolderNames = 1;

Comp.IncludeHiddenFiles = 1;

Comp.DoCompress();

}

Rem //延迟1天，并且7zip做单个文件压缩//

@echo off

rem Get designated previous date. DaysAgo=1 means get the date 1 day before.

set DaysAgo=1

rem system date format should be yyyy-mm-dd

call :DateToDays %date:~0,4% %date:~5,2% %date:~8,2% PassDays

set /a PassDays-=%DaysAgo%

call :DaysToDate %PassDays% DstYear DstMonth DstDay

set CPYDate=%DstMonth%-%DstDay%-%DstYear%

echo %CPYDate%

rem Begin of Discrete Copy Files and Compress

for /d %%f in (E:\CPDatalog\Discrete\2015\*, E:\CPDatalog\Discrete\2015\SKEData\*) do xcopy /Y /D:%CPYDate% %%f\Data\*.jdf F:\ToFVServer\Discrete

F:

CD ToFVServer\Discrete

del /f/q SP*.jdf

for /f "delims=" %%i in ('dir /b *.*') do (if %%~zi lss 10240 (del /f /q "%%i"))

CD\

forfiles /P F:\ToFVServer\Discrete /M *.* /D %Date% /C "cmd /c del /F /Q @file"

D:

CD\

CD Software\7-Zip

for /f "delims=" %%i in ('dir /b F:\ToFVServer\Discrete\*.*') do (7za a -tgzip

F:\ToFVServer\temp\"%%i".gz F:\ToFVServer\Discrete\"%%i")

CD\

F:

CD ToFVServer\Discrete

mkdir F:\ToFVServer\Backup\Discrete_%Date%

move *.* F:\ToFVServer\Backup\Discrete_%Date%

CD\

rem End of Discrete Copy Files and Compress

rem Begin of Analog Copy Files and Compress. Uploading Both Discrete and Analog Compressed File.

for /d %%f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y /D:%CPYDate% %%f\*.log

F:\ToFVServer\Analog

for /d %%f in (E:\CPDatalog\Analog\2015\*) do xcopy /Y /D:%CPYDate% %%f\*.st*

F:\ToFVServer\Analog

F:

CD ToFVServer\Analog

for /f "delims=" %%i in ('dir /b *.*') do (if %%~zi lss 102400 (del /f /q "%%i"))

CD\

forfiles /P F:\ToFVServer\Analog /M *.* /D %Date% /C "cmd /c del /F /Q @file"

D:

CD\

CD Software\7-Zip

for /f "delims=" %%i in ('dir /b F:\ToFVServer\Analog\*.*') do (7za a -tgzip

F:\ToFVServer\temp\"%%i".gz F:\ToFVServer\Analog\"%%i")

CD\

CD Software\FlashFXP

flashfxp -upload ftp://diodes:Mxme+09@@https://www.360docs.net/doc/845150155.html,

-localpath="F:\ToFVServer\temp\" -remotepath="/SKE_CP/" -quit

CD\

F:

CD ToFVServer\Analog

mkdir F:\ToFVServer\Backup\Analog_%Date%

move *.* F:\ToFVServer\Backup\Analog_%Date%

CD\

rem End of Analog Copy Files and Compress. End of Uploading Both Discrete and Analog Compressed File.

F:

CD ToFVServer\Temp

del /f/q *.*

CD\

goto :EOF

:DateToDays %yy% %mm% %dd% days

setlocal ENABLEEXTENSIONS

set yy=%1&set mm=%2&set dd=%3

if 1%yy% LSS 200 if 1%yy% LSS 170 (set yy=20%yy%) else (set yy=19%yy%)

set /a dd=100%dd%%%100,mm=100%mm%%%100

set /a z=14-mm,z/=12,y=yy+4800-z,m=mm+12*z-3,j=153*m+2

set /a j=j/5+dd+y*365+y/4-y/100+y/400-2472633

endlocal&set %4=%j%&goto :EOF

:DaysToDate %days% yy mm dd

setlocal ENABLEEXTENSIONS

set /a a=%1+2472632,b=4*a+3,b/=146097,c=-b*146097,c/=4,c+=a

set /a d=4*c+3,d/=1461,e=-1461*d,e/=4,e+=c,m=5*e+2,m/=153,dd=153*m+2,dd/=5

set /a dd=-dd+e+1,mm=-m/10,mm*=12,mm+=m+3,yy=b*100+d-4800+m/10

(if %mm% LSS 10 set mm=0%mm%)&(if %dd% LSS 10 set dd=0%dd%)

endlocal&set %2=%yy%&set %3=%mm%&set %4=%dd%&goto :EOF

补充介绍：单个文件循环压缩方法，可以大大节省磁盘空间

1、去https://www.360docs.net/doc/845150155.html,/download.html下载一个7-zip命令行版本。

Note：当然任意版本的7-zip都包含命令行的7z.exe文件。只是单纯的命令行版本无需安装，无需注册，是纯绿色的，用起来简单。

2、把7-zip命令行版本加压缩放入D盘：Software\7-Zip目录。

3、建立一个批处理文件，代码如下：

D:

CD Software\7-Zip

for /f "delims=" %%i in ('dir /b D:\temp\try\*.*') do (7za a -tgzip D:\temp\"%%i".gz

D:\temp\try\"%%i")

功能说明：

用for /f和dir /b遍历D:\temp\try里面的所有文件，然后用7za单个压缩后，放入D:\temp下。压缩后的文件名是原文件名+ .gz后缀。