Excel通过POI大数据导入数据库通用方案

目录一、总体设计思路........................................................................................................ - 1 -二、导入规则表设计.................................................................................................... - 1 -1、数据导入表规则.................................................................................................... - 1 -2、数据导入列规则.................................................................................................... - 2 -三、导入规则类设计.................................................................................................... - 3 -四、界面设计................................................................................................................ - 4 -1、规则配置界面........................................................................................................ - 4 -2、导入数据界面........................................................................................................ - 6 -五、导入逻辑................................................................................................................ - 7 -六、内部评审补充........................................................................................................ - 8 -此文档仅为设计方案，如要查看具体实现，请联系我所要源码通用Excel导入设计方案一、总体设计思路考虑到Excel导入在项目中应用较多，随后其他项目中都会用到，为了减少重复工作，不必因为excel的样式、数据等变化而重新编码，重复劳动，因此必须抽取通用的东西出来，封装共同点，暴露个性点，使用时只需要关注相关业务，而不必关注excel的读取和存储。

考虑到这个情况，可以使用规则配置来解决这个问题。

配置规则的时候，需要配置excel要导入的表，字段等信息，导入的时候依据这个规则将数据导入到数据库中。

这样一来，在进行excel导入时候只需要为某种数据配置一个规则，然后调用封装的导入类就可以完成整个excel导入的工作了。

实现源码参见/detail/whatismvc/3696185二、导入规则表设计1、数据导入表规则（1）ID：数据表唯一标识，没有业务含义；（2）Create_time：创建时间；（3）Rule_name：规则名称；（4）End_row：数据读取结束标识，blank_row标识遇到空行结束，数字N表示读取到第N行结束；（5）Header_index：excel标题行索引，默认值为1，表示第一行是标题行；（6）Data_index：数据开始行索引，默认值为2，表示第2行开始是正式数据；（7）Table_name：表名称，表示这个规则是针对这个表的数据导入定义的；（8）Delete_repeat：是否删除重复行，即是否导入重复数据，0则不删除，直接导入，1则先删除重复数据，然后再导入；是否重复根据规则表data_import_column_rule的Is_unique字段来判定，重复行是指数据库中存在与excel中相同的数据；（9）Enable：有效标识；2、数据导入列规则（1）ID：数据表唯一标识，没有业务含义；（2）Table_rule_id：data_import_table_rule表的主键，表示这条列规则是属于哪个表的规则；（3）Is_PK：是否是主键；（4）Produce_method：数据生成策略，导入数据/自定义策略/默认值，三种策略供选择；（5）Is_unique：是否唯一，用来判定重复数据；（6）Column_name：列名称，对应表中的列名；（7）Header_name：excel列标题，与数据表列是对应的；（8）Required：是否必须导入，0不必须1必须；（9）Data_type：数据类型，数字还是字符，number/string/date；（10）Max_length：最大允许长度，不能大于，数据表中该列的长度；（11）Produce_method_value：数据生成策略值，导入数据是为空，自定义策略是为策略方法名，或者是默认值；（12）Comment：备注；（13）Is_dictionary：最终导入数据是否来源于字典，0不1是；（14）Dic_table_name：字典数据来源表的名称；（15）Dic_type_column：字典类型列的字段名；（16）Dic_type_value：该列所属的字典类型值；（17）Dic_required_column：字典表最终获取值列的名称，例如：现在需要导入“编码器类型”，excel内容是“飞利浦”，“编码器类型”是一个字典，对应的字典表是“video_coding_type”，“飞利浦”是“video_coding_type_name”列的值，而数据表需要存入的是“video_coding_type_id”列的值，这时“video_coding_type_id”就是Dic_required_column，而“video_coding_type_name”就是Dic_reference_column，“video_coding_type”是Dic_table_name；（18）Dic_reference_column：参见第17条说明。

（19）Enable：该规则是否有效；三、导入规则类设计class ImportResult {private int success;//成功数目private int failed;//失败数目}class Excel {private DataImportTableRule tableRule;public Excel(String path){…}public ImportResult import(){…}}class DataImportTableRule {private String id;private Date createTime;private String ruleName;private String endRow;private int headerIndex;private int dataIndex;private String tableName;private boolean deleteRepeat;private String exceptColumns;private Set ColumnRules;public void initColumnRules(){…}public void addColumnRule(DataImportColumnRule columnRule){…} }class DataImportColumnRule {private String id;private String tableRuleId;private boolean isUnique;private String columnName;private String headerName;private boolean required;private String dataType;private String maxLength;private String defaultValue;private String comment;private boolean isDictionary;private String dicTableName;private String dicTypeColumn;private String dicTypeValue;private String dicRequiredColumn;private String dicReferenceColumn;}四、界面设计1、规则配置界面2、导入数据界面五、导入逻辑关于Excel操作，设计将采用apache的poi组件，版本采用项目lib中已经包含的版本poi-2.5.1。

具体导入逻辑如下：1、将excel文件上传到web服务器，利用poi加载excel文件。

2、根据用户选择的导入规则，从数据库加载对应的DataImportTableRule对象；3、根据标题行索引Header_index，数据开始行索引Data_index，结束行标识End_row，判断该excel是否满足对应规则的导入条件，满足则继续，不满足则给出提示信息。

4、从数据开始行Data_index开始，逐行读取excel文件。

5、处理excel第一列，根据excel第一列的标题以及header_name属性，匹配到对应的DataImportColumnRule对象，如果没有匹配的对象，则抛出异常（未找到与之匹配的列规则），如果该列已经处理过，也抛出异常（excel标题存在重复列），否则继续；6、读取Excel当前列的内容text，如果text是空值，判断Required属性是否为true，如果是false，则将defaultValue属性作为excel内容text直接执行第11条，如果是true则继续；7、判断Is_dictionary属性是否为true，如果为false，则跳过8、9逻辑，直接执行第10条，如果为true，则继续；8、判断Dic_table_name属性、Dic_type属性、Dic_required_column属性以及Dic_reference_column属性，若其中有任意一个为null或空值，则抛出异常（属于字典，却未指定字典表名称Dic_table_name以及相关属性Dic_type、Dic_required_column、Dic_reference_column），否则继续；9、查找字典表，查找语句为”select [Dic_required_column] from [Dic_table_name]where [Dic_type_column]=[Dic_type_value] and [Dic_Reference_column]=’[text]’”，若sql语句不能查询到数据，则抛出异常（找不到对应的字典项），若查询到数据，则取第一条数据的[Dic_required_column]值，继续；10、判断Is_unique属性是否为true，若为false，执行第11条，若为true，则查找表[Table_name]中[Column_name]值为[text]的数据是否存在，若不存在则执行第11条，否则继续判断Delete_repeat属性是否为true，若为true则删除数据库中该条数据；11、判断Data_type属性，并判断text与该类型是否匹配，若不匹配，则抛出异常（数据类型不符合条件），如果匹配则继续；12、判断text长度是否超过Max_length属性值，若超过，则抛出异常（单元格内容长度太大），否则继续；13、将text作为Column_name列的值，加到准备好的sql语句对应参数位置，等待执行；14、处理excel第二列，从第5条开始执行循环处理，直到Excel列结束；15、执行或批量执行准备好的sql语句，返回执行结果；16、处理excel第二行，并判断是否符合End_row的条件，如果是结束行，则整个导入结束，否则从第4条开始执行循环处理，直到End_row结束。