hdfs file md5 计算实现本地与hdfs同步文件

hdfs file md5 计算，实现本地与hdfs同步文件
需求
本地有文件，hdfs也有文件，如果是同一个文件，则不同步，否则就同步文件
如果本地有的，hdfs无，则上传
如果本地无得，hdfs有，则删除
重构版本：hdfs sync 重构
思考
计算文件相同，则计算md5值
如何算
本来想用hdfs的checksum，但那个是crc，每次写block 会去算一下，最后是一组checksum，而本地文件系统默认不会计算这个值
后面就直接用流计算的：
def getHdfsFileMd5(path: Path, configuration:
Configuration): String = {
val dfs = FileSystem.get(configuration)
val in = dfs.open(path)
Try {
DigestUtils.md5Hex(in)
} match {
case Success(s) ? in.close(); dfs.close(); s
case Failure(e) ? in.close(); dfs.close(); e.getMessage }
}
def getLocalFileMd5(file: File): String = {
val in = new FileInputStream(file)
Try {
DigestUtils.md5Hex(in)
} match {
case Success(s) ? in.close(); s
case Failure(e) ? in.close(); e.getMessage
}
}1234567891011121314151617181920212223123456789
1011121314151617181920212223
设计
按照刚才的思路，可以分成下面几种情况本地HDFS
是否相同文件
文件
相同
文件
文件
不同
文件
文件夹
无需比较
文件夹
文件
无需比较
文件夹文件夹无需比较。