pentaho整合CAS-20101230(JBOSS环境修正)
ACCENTRIX
Pentaho CAS单点登录整合方案（JBOSS修正
版）
Bran,Cirtons
2010-12-30
目录
1文档目的2 2环境平台3 3Pentaho认证和授权管理Spring Security 3 3.1框架说明3
3.1.1Spring security 3
3.1.2CAS 5 1Pentaho Spring Security和CAS整合6 1.1CAS单点登录原理步骤6 1.2CAS Server及相关服务器结构图7 1.3CAS源代码解读和配置说明7 1.4CAS认证登录流程简介(配置成功之后的流程) 11 1.5CAS Client for pentaho具体整合配置15 1.6总结18 2开发环境搭建18 2.1开发工具和源代码18 2.2数据库18 2.3部署和测试19
2.3.1软件配置19
2.3.2Tomcat&JBoss以及SSL安装配置19
1文档目的
说明如何在pentaho商业BI中集成CAS。
2环境平台
Window XP
T omcat5.5/JBoss-5.1.0GA
Spring security 2.0.5(pentaho)
cas-server-3.4.3.1
cas-client-3.1.9-release
MySql5.1
3Pentaho认证和授权管理Spring Security Spring Security为基于J2EE企业应用软件提供了全面安全服务。特别是使用领先的J2EE解决方案-Spring框架开发的企业软件项目。
3.1框架说明
3.1.1Spring security
人们使用Spring Security有很多种原因，不过通常吸引他们的是在J2EE Servlet规范或EJB规范中找不到典型企业应用场景的解决方案。提到这些规范，特别要指出的是它们不能在WAR或EAR级别进行移植。这样，如果你更换服务器环境，就要，在新的目标环境进行大量的工作，对你的应用系统进行重新配置安全。使用Spring Security解决了这些问题，也为你提供了很多有用的，完全可定制的其他安全特性。
你可能知道，安全包括两个主要操作。第一个被称为“认证”，是为用户建立一个他所声明的主体。主体一般是指用户，设备或可以在你系统中执行行动的其他系统。“授权”指的一个用户能否在你的应用中执行某个操作。在到达授权判断之前，身份的主体已经由身份验证过程建立了。这些概念是通用的，不是Spring Security特有的。
在身份验证层面，Spring Security广泛支持各种身份验证模式。这些验证模型绝大多数都由第三方提供，或正在开发的有关标准机构提供的，例如Internet Engineering Task Force。作为补充，Spring Security也提供了自己的一套验证功能。Spring Security目前支持认证一体化和如下认证技术：
●HTTP BASIC authentication headers (一个基于IEFT RFC的标准)
●HTTP Digest authentication headers (一个基于IEFT RFC的标准)
●HTTP X.509 client certificate exchange (一个基于IEFT RFC的标准)
●LDAP (一个非常常见的跨平台认证需要做法，特别是在大环境)
●Form-based authentication (提供简单用户接口的需求)
●OpenID authentication
●Computer Associates Siteminder
●JA-SIG Central Authentication Service (也被称为CAS，这是一个流行的开源单
点登录系统)
●Transparent authentication context propagation for Remote Method Invocation
(RMI) and HttpInvoker (一个Spring远程调用协议)
●Automatic "remember-me" authentication (这样你可以设置一段时间，避免在
一段时间内还需要重新验证)
●Anonymous authentication (允许任何调用，自动假设一个特定的安全主体) ●Run-as authentication (这在一个会话内使用不同安全身份的时候是非常有用
的)
●Java Authentication and Authorization Service (JAAS)
●Container integration with JBoss, Jetty, Resin and Tomcat (这样，你可以继续使
用容器管理认证，如果想的话)
●Java Open Source Single Sign On (JOSSO) *
●OpenNMS Network Management Platform *
●AppFuse *
●AndroMDA *
●Mule ESB *
●Direct Web Request (DWR) *
●Grails *
●Tapestry *
●JTrac *
●Jasypt *
●Roller *
●Elastic Plath *
●Atlassian Crowd *
许多独立软件供应商（ISVs, independent software vendors）采用Spring Security，是因为它拥有丰富灵活的验证模型。这样，无论终端用户需要什么，他们都可以快速集成到系统中，不用花很多功夫，也不用让用户改变运行环境。如果上述的验证机制都没有满足你的需要，Spring Security是一个开放的平台，编写自己的验证机制是十分简单的。Spring Security的许多企业用户需要整合不遵循任何特定安全标准的“遗留”系统，Spring Security在这类系统上也表现的很好。
有时基本的认证是不够的。有时你需要根据在主体和应用交互的方式来应用不同的安全措施。比如，你可能，为了保护密码，不被窃听或受到中间人攻击，希望确保请求只通过HTTPS到达。或者，你希望确保发起请求的是一个真正的人，而不是机器人或其他自动化程序。这对保护找回密码不被暴力攻击特别有帮助，或者让别人更难复制你程序中的关键内容。为了帮助你实现这些目标，Spring Security支持自动“通道安全”，整合jcaptcha一体化进行用户检测。
Spring Security不仅提供认证功能，也提供了完备的授权功能。在授权方面主要有三个领域，授权web请求，授权被调用方法，授权访问单个对象的实例。为了帮你了解它们之间的区别，对照考虑授在Servlet规范web模式安全，EJB 容器管理安全，和文件系统安全方面的授权方式。Spring Security在所有这些重要领域都提供了完备的能力。
3.1.2CAS
所谓单点登录single sign-on是身份登录的一部分。较为通俗的定义是：访问同一服务器不同应用中的受保护资源的同一用户，只需登录一次，即通过一个应用中的安全验证后，在访问其他应用中受保护的资源时，不需要重新登录验证。（比如淘宝和支付宝）
CAS（Central Authentication Service），是耶鲁大学开发的单点登录系统.应用广泛，具有独立于平台的，易于理解，支持代理功能。CAS系统在各个大学如耶鲁大学、加州大学、剑桥大学、香港科技大学等得到应用。据统计，大概每10 个采用开源构建Web SSO 的Java 项目，就有8 个使用CAS 。CAS 是目前最简单实效，而且足够安全的SSO 选择。
CAS的核心就是其Ticket，及其在Ticket之上的一系列处理操作。CAS的主要票据有TGT、ST、PGT、PGTIOU、PT，其中TGT、ST是CAS1.0协议中就有的票据，PGT、PGTIOU、PT是CAS2.0协议中有的票据。
TGT（Ticket Grangting Ticket）
TGT是CAS为用户签发的登录票据，拥有了TGT，用户就可以证明自己在CAS 成功登录过。TGT封装了Cookie值以及此Cookie值对应的用户信息。用户在CAS 认证成功后，CAS生成cookie，写入浏览器，同时生成一个TGT对象，放入自己的缓存，TGT对象的ID就是cookie的值。当HTTP再次请求到来时，如果传过来的有CAS生成的cookie，则CAS以此cookie值为key查询缓存中有无TGT ，如果有的话，则说明用户之前登录过，如果没有，则用户需要重新登录。
ST（Service Ticket）
ST是CAS为用户签发的访问某一service的票据。用户访问service时，service 发现用户没有ST，则要求用户去CAS获取ST。用户向CAS发出获取ST的请求，如果用户的请求中包含cookie，则CAS会以此cookie值为key查询缓存中有无TGT，如果存在TGT，则用此TGT签发一个ST，返回给用户。用户凭借ST去访问service，service拿ST去CAS验证，验证通过后，允许用户访问资源。
PGT（Proxy Granting Ticket）
Proxy Service的代理凭据。用户通过CAS成功登录某一Proxy Service后，CAS 生成一个PGT对象，缓存在CAS本地，同时将PGT的值（一个UUID字符串）回传给Proxy Service，并保存在Proxy Service里。Proxy Service拿到PGT后，就可以为Target Service（back-end service）做代理，为其申请PT。
PGTIOU（Proxy Granting Ticket IOU）
PGTIOU是CAS协议中定义的一种附加票据，它增强了传输、获取PGT的安全性。
PGT的传输与获取的过程：Proxy Service调用CAS的serviceValidate接口验证ST成功后，CAS首先会访问pgtUrl指向的https url，将生成的PGT及PGTIOU 传输给proxy service，proxy service会以PGTIOU为key，PGT为value，将其存储
在Map中；然后CAS会生成验证ST成功的xml消息，返回给Proxy Service，xml 消息中含有PGTIOU，proxy service收到Xml消息后，会从中解析出PGTIOU的值，然后以其为key，在map中找出PGT的值，赋值给代表用户信息的Assertion对象的pgtId，同时在map中将其删除。
PT（Proxy Ticket）
PT是用户访问Target Service（back-end service）的票据。如果用户访问的是一个Web应用，则Web应用会要求浏览器提供ST，浏览器就会用cookie去CAS 获取一个ST，然后就可以访问这个Web应用了。如果用户访问的不是一个Web 应用，而是一个C/S结构的应用，因为C/S结构的应用得不到cookie，所以用户不能自己去CAS获取ST，而是通过访问proxy service的接口，凭借proxy service 的PGT去获取一个PT，然后才能访问到此应用。
1Pentaho Spring Security和CAS整合
1.1CAS单点登录原理步骤
1.用户访问application1,application1查看session中是否有用户登录的信息(使用session的情况下)，如果没有，转向到Server要求用户认证身份，此时将会把此用户的sessionId一并传给Server。
2.用户被转向到Server认证成功后，Server生成ticket号和票据，将号和票据连同application1的SessionId一并存入服务器端(可以选择内存，也可以选择数据库持久化)，并在用户浏览器中设置cookie，确保已经登录。之后Server将用户redirect到application1，并且增加tickect 号参数。
3。application1收到Server回传回来的tickect号参数，根据这个参数application1在后台与Server建立安全连接，验证tickect的有效性，并且接受Server返回的用户信息。登录成功。
4。用户登录application2.application2发现用户session中有未登录信息，转向到Server，Server 取用户cookie，发现用户已经登录成功过。于是把用户在application2的sessionId记录，返回ticket参数给application2。application2验证过程类似3。
5.单点登入完毕。
6.用户在application1点击登出，登出url被转向到Server。
7.Server收到登出请求后，删除用户的cookie，并且从内存中取出之前用户在所有的application中的登录的sessionId，依次向这些application发送消除session请求。并且删除之前内存中保存的用户登录的ticket号和票据的信息。
8.各个application收到Server的请求后，被single sign out的Filter拦截，根据回传的sessionId 号，清除用户session。
9.单点登出完毕。
Server端一直维护者用户登录信息的一个map，map中包含了用户登录生成的ticket号和票据，用户登录的application及在其上的sesseionId等。单点登录完全由Server端承担，验证由application与Server在后台(用户不可见)建立安全连接完成。
1.2CAS Server及相关服务器结构图
1.3CAS源代码解读和配置说明
1CAS服务器端处理
Server处理流程图如下
本例利用spring security的CAS管理加入对单点登录的支持，同时尽量少影响现有的项目结构与逻辑（例如现在pentaho系统模块中对用户资料/权限维护等）。334项目有客户化的页面及配置好的CAS Server项目（除了所需的jar包之外），放在
https://202.67.226.77/svn/HKEAA-HKDSE/trunk/6.Reference_Documents/Technical_Guides/cas 中，可供参考。
CAS Server的相关配置步骤如下：
1.确认安装好Tomcat/JBoss, pentaho 及数据库。它们的安装配置见pentaho介绍。同时请
参考第五章做HTTPS、证书、域名等配置。
2.CAS的下载地址为：https://www.360docs.net/doc/214745352.html,/cas/download，下载完成后将
cas-server-3.4.3.1.zip解压，解压cas-server-3.4.3/modules/cas-server-webapp-3.4.3.1.war，改名为cas（JBoss为cas.war目录），然后复制cas目录到你的tomcat/webapps (Jboss: jboss-5.1.0.GA/server/default/deploy)目录下。
注意：在JBoss5.1.0GA中，还需要解决一系列包的冲突以及JTA配置问题.
a)在%JBoss_HOME%/server/default/deploy目录下中添加文件jboss-scanning.xml
文件内容:
b)将%JBoss_HOME%/server/default/deploy/cas.war/WEB-INF下的web.xml中的有关
Log4j 的配置删除，请先做备份！
c)在cas.war /WEB-INF/lib中去除log4j,slf4j,xml-apis,hibernate-jpa的相关依赖包
d)删除cas.war/WEB-INF/classes/META-INF/下的persistence.xml文件
3.现在可以访问CAS应用了，当然要使用HTTPS加密协议访问，如：https://你的域
名:8443/cas/login ，现在打开了CAS服务器的页面输入admin/admin点击登录（CAS默认的验证规则只要用户名和密码相同就通过）所以如果你看到下面的这张图片你就成功：
4.指定项目需要的AuthenticationHandler。CAS Server需要指定一个AuthenticationHandler
认证处理类。我们将一个Credentials(证书类,包含username/passord的JavaBean)传给一个AuthenticationHandler进行认证，首先调用boolean supports(Credentials credentials)方法察看当前传入的Credentials实例，AuthenticationHandler实例现是否支持它？如果
支持，再调用boolean authenticate(Credentials credentials)方法进行认证。由于用户名/密码方式是最常用的认证方法，因此CAS为我们提供了一个现成的基于该方式的抽象认证处理类AbstractUsernamePasswordAuthenticationHandler。通常我们只需要继承该类，并实现其中的authenticateUsernamePasswordInternal方法(在此方法中进行登录验证
也就是认证)即可。
需要附带说明的是，在CAS Server的扩展API中已经提供了大量常用认证形式的实现类，它们同CAS Server的war包一同分发：
cas-server-support-generic-3.1.1.jar ——使用Map记录用户认证信息的实现
cas-server-support-jdbc-3.1.1.jar ——基于Spring JDBC的数据库实现（我们常用的）cas-server-support-ldap-3.1.1.jar ——基于LDAP的用户认证实现
对于具体有兴趣的可以自己下载源码学习。
我们这里采用的是基于数据库校验实现的认证,在Tomcat/JBOSS的Cas项目的WEB-INF 下的lib加入
包。打开%tomcat%/webapp/cas/WEB-INF/deployerConfigContext.xml (JBoss 为:%JBOSS%/server/default/deploy/cas.war/WEB-INF/deployerConfigContext.xml)文件，找到authenticationHandlers配置的地方，将
class="org.jasig.cas.authentication.handler.support.SimpleTestUsernamePasswordAuthentic ationHandler" /> 替换成如下： 此处，须注意，由于authenticationHandlers在配置文件中是并行的一串list,只要其中一个authenticationHandler通过验证，即整个authenticationHandlers通过检验。 当然，需要添加数据源的定义： 此数据源为pentaho数据库hibernate，用以管理biserver的相关登录和权限,当然可以根据需要自行另外定义数据库.配置完以上，再次登录CAS LOGIN页面，输入用户名:joe 密码:cGFzc3dvcmQ= 测试成功！ 5.定制身份验证登录界面。在本例中，直接采用CAS的server端管理CAS登录界面，这个 当然是可以进行定制的。 CAS Server在显示界面层view使用了“主题Theme”的概念。在{project.home}/webapp/WEB-INF/view/jsp/目录下，系统默认提供了两套得UI —— default 和simple 。default方案使用了CSS等相对复杂得界面元素，而simple方案提供了最简化的界面表示方式。在整个的CAS Server服务器端，有四个界面是我们必须要实现的：casConfirmView.jsp ——确认信息（警告信息）页面 casGenericSuccess.jsp ——登陆成功提示页面 casLoginView.jsp ——登录输入页面 casLogoutView.jsp —— SSO登出提示页面 这些都是标准的jsp页面，可以完全自由实现他们，除了名字不能改。 CAS为view的展示提供了3个级别的定制方式，让我们从最直观简单的开始吧。 1)采用文件覆盖方式：直接修改default中的页面或者将新写好的四个jsp文件覆盖到 default目录中。这种方式最直观和简单，但咖啡建议各位在使用这种方式前将原 有目录中的文件备份一下，以备不时之需。 2)修改UI配置文件，定位UI目录：在CAS Server端/webapp/WEB-INF/classes/ 目录 下，有一个名为default_views.properties的属性配置文件，你可以通过修改配置文 件中的各个页面文件位置，指向你新UI文件，来达到修改页面展示的目的。 3)修改配置文件的配置文件，。在方法2中的default_views.properties文件是一整套 的UI页面配置。如果我想保存多套的UI页面配置就可以写多个的properties文件 来保存这些配置。在CAS Server端/webapp/WEB-INF/目录下有cas-servlet.xml和 cas.properties两个文件，cas-servlet.xml使用了cas.properties文件中的 cas.viewResolver.basename属性来定义view属性文件的名字，因此你可以选者直接 修改cas-servlet.xml中的viewResolver 下的basenames属性，或者修改cas.properties 中的cas.viewResolver.basename属性，指定新的properties文件名，这样可以轻松 的替换全套UI。 1.4CAS认证登录流程简介(配置成功之后的流程) CAS单点登录/登出的流程及序列图如下，其中ST为Service Ticket，用于客户端应用持有，每个ST对应一个用户在一个客户端上；TGT为Ticket Granting Ticket，存储在CAS 服务器端和用户cookie两个地方。 1.CAS客户端应用服务器拦截设定的URL，用户访问时若无登录，将跳转到配置中指定的 CAS SERVER登录页。 实例如下： 因为开发时我们的证书是局部证书，所以会有个警告页面： 点击”继续浏览此网站”之后 重定向到CAS Server，此处为CAS Server自带管理页面，可以订制，见4.3 2.登录失败，停留在登录界面，并显示提示信息。 3.当客户登录成功后，带着TICKET保存在session中，此用户Session再访问CAS客户端 应用pentaho时（如果是别的系统则需添加配置），将使用此TICKET自动获得已登录的账号，不需要pentaho再次登录。流程图暂缺。 4.若客户端应用设置的Session过期，则其将主动将客户重定向到CAS服务器的logout界 面，CAS服务器将使用户的TICKET失效，并返向来源URL，即回到流程1。 1.5CAS Client for pentaho具体整合配置 在没有使用CAS单点登录的Web应用项目中加入CAS单点登录支持，需要做以下工作： 1在https://www.360docs.net/doc/214745352.html,/downloads/cas-clients/下栽cas client包，这里使用的是3.1.9版本cas-client-3.1.9-release.zip。 2把cas-client-3.1.9-release.zip里的modules下cas-client-core-3.1.9.jar加入需要支持CAS 单点登录的客户端应用(pentaho)中。另外CAS依赖common logger包。 3确认在client项目pentaho等中已加入spring security的支持，这里针对CAS Client支持与spring-security结合的配置；主要包括依赖包cas-client-core-3.1.9.jar, spring-security-core-2.0.5.RELEASE.jar, spring-security-cas-client-2.0.5.RELEASE.jar。 4在CAS在应用客户服务器端pentaho的web.xml加入以下CAS 的基本logout Filter配置。 注:在JBoss中标签必须按次序配置比如 5在Pentaho的Spring security集成CAS：在pentaho的Biserver-ce 目录中的/pentaho-solutions/system/applicationContext-spring-security.xml中修改 1) 添加CAS的casProcessingFilter(拦截处理类). class="org.springframework.security.ui.cas.CasProcessingFilter"> 2) 添加casProcessingFilterEntryPoint ,此处loginUrl为CAS的管理登录页面,而service为应用程序的安全服务,一般格式是“域名:端口/客户端项目名/ j_spring_cas_security_check”. class="org.springframework.security.ui.cas.CasProcessingFilterEntryPoint"> value="http://localhost:8080/pentaho/j_spring_cas_security_check" /> 3) 添加认证提供器，配置认证票据检验器ticketValidator,配置票据检验的server 为https://localhost:8443/cas. 4) 在exceptionTranslationFilter中替换引用authenticationProcessingFilterEntryPoint 为casProcessingFilterEntryPoint，将casProcessingFilterEntryPoint配置生效. class="org.springframework.security.ui.ExceptionTranslationFilter"> class="org.springframework.security.ui.AccessDeniedHandlerImpl" /> 5) 将casProcessingFilter添加进入filter chain,位置在 logoutFilter,authenticationProcessingFilter之间，使casProcessingFilter生效. class="org.springframework.security.util.FilterChainProxy"> PATTERN_TYPE_APACHE_ANT /**=securityContextHolderAwareRequestFilter,httpSessionContextIntegrationFilter, httpSessionReuseDetectionFilter,logoutFilter,casProcessingFilter,authenticationPro cessingFilter,basicProcessingFilter,requestParameterProcessingFilter,anonymousPro cessingFilter,pentahoSecurityStartupFilter,exceptionTranslationFilter,filterInvocatio nInterceptor]]> 6) 通过authenticationManager管理casAuthenticationProvider 在authenticationManager中加入casAuthenticationProvider. class="org.springframework.security.providers.ProviderManager"> 7) 修改原有注销登出value为https://acc:8443/cas/logout. class="org.springframework.security.ui.logout.LogoutFilter"> 6 CAS 的SSO单点登录后将把用户信息保存到应用端服务器的Spring上下文中；登 录后可能有的其它与登录相关的信息处理逻辑需要处理，例如获得用户菜单/权 限等，Spring security + CAS 在CAS应用端取得当前登录用户账号的方式为： 1.如果只是想从页面上显示当前登陆的用户名，可以直接使用Spring Security提供的 taglib。 <%@ taglib prefix="sec" uri="https://www.360docs.net/doc/214745352.html,/security/tags" %> 2.如果想在程序中获得当前登陆用户对应的对象 UserDetails userDetails = (UserDetails) SecurityContextHolder.getContext() .getAuthentication() .getPrincipal(); 1.6总结 1．CAS要求客户浏览器必须支持Cookie，否则不能实现单点登录。 2．这里使用的是spring security与CAS的集成，因为pentaho是通过spring security标准配置来管理的认证和授权，所以暂时不需要修改代码就能完美的支持CAS将认证和授权分离。不使用spring security的应用不适用此例的客户端配置。 3．CAS服务器的访问须为域名访问（如上面所用的acc），所以需要内部设置域名指向或者使用Internet域名。 4．本例中CAS Server使用的是jdbc验证资源，若需要使用其它类型的，需要做相似的配置修改。 5．CAS本身支持很多客户端平台如JSR-169，C#.NET，https://www.360docs.net/doc/214745352.html,，ColdFusion，Perl，Prado，Ruby，Seraph，WebObjects，Zope等等，这里介绍实现的只是其中的Java Web一种。 2开发环境搭建 2.1开发工具和源代码 Tomcat 5.5 下载地址：pentaho Biserver自带 Jboss- 5.1.0 GA 下载地址：pentaho BiserverJboss版本自带 CAS server 下载地址：https://www.360docs.net/doc/214745352.html,/cas_server_3_4_3_1 Spring & Spring security 下载地址：https://www.360docs.net/doc/214745352.html,/download Pentaho项目需要预先配置好 2.2数据库 我们采用mysql5.1 作为测试的数据库 不过用什么版本的数据库没什么特别要求。 建表和初始化数据请参照pentaho配置。 2.3部署和测试 2.3.1软件配置 2.3.2Tomcat&JBoss以及SSL安装配置 1.Tomcat&JBOSS安装 安装Tomcat前必须配置好JDK的JAVA_HOME变量 我们采用免安装的Tomcat&JBOSS版本，只要把Tomcat&JBOSS包解压就可以了 进入到tomcat目录/tomcat/bin目录(jboss的jboss-5.1.0.GA/bin)下双击startup.bat(JBOSS为run.bat)就能启动了 TOMCAT: JBOSS： 查看是否正常安装，在浏览器中输入：http://localhost:8080/ TOMCAT： JBOSS: KETTLE 开源ETL软件】【安装配置与使用说明】 2015 年09 月 修订记录 目录 修订记录 (2) 1.安装与配置 (4) 1.1ETL 与K ETTLE概述 (4) 1.2K ETTLE的下载与安装 (7) 1.2.1Windows下安装配置 ............................................ Kettle 8 1.2.2Linux 下安装配置.................................................. Kettle 10 1.2.3Kettle 下安装..................................................... JDBC数据库驱动15 1.2.4下配置资源库连接 (15) 1.2.5Kettle 下 Hadoop Plugin 插件配置 (17) 2.KETTLE组件介绍与使用 (19) 2.1K ETTLE SPOON使用 (19) 2.1.1组件树介绍 (20) 2.1.2使用示例.......................................................... 1 23 2.1.3使用示例.......................................................... 2 37 2.1.4使用Kettle 装载数据到..................................... HDFS 48 2.1.5使用Kettle 装载数据到 (iv) 52 2.1.6使用 Kettle 进行 hadoop的 mapreduce图形化开发 (52) 2.2K ETTLE PAN的使用 (63) 2.3K ETTLE KITECHEN的使用 (64) 2.4C ARTE添加新的ETL执行引擎 (65) 2.5E NCR加密工具 (68) 新环保法全文,2019.4.24修订,2019.1.1起施行篇一：中华人民共和国环境保护法新(本法自2019年1月1日起施行) 中华人民共和国环境保护法 (1989年12月26日第七届全国人民代表大会常务委员会第十一次会议通过2019年4月24日第十二届全国人民代表大会常务委员会第八次会议修订)目录 第一章总则 第二章监督管理 第三章保护和改善环境 第四章防治污染和其他公害 第五章信息公开和公众参与 第六章法律责任 第七章附则 第一章总则 第一条为保护和改善环境，防治污染和其他公害，保障公众健康，推进生态文明建设，促进经济社会可持续发展，制定本法。 第二条本法所称环境，是指影响人类生存和发展的各种天然的和经过人工改造的自然因素的总体，包括大气、水、海洋、土地、矿藏、森林、草原、湿地、野生生物、自然遗迹、人文遗迹、自然保护区、风景名胜区、城市和乡村等。 第三条本法适用于中华人民共和国领域和中华人民共和国管辖的其他海域。 第四条保护环境是国家的基本国策。 国家采取有利于节约和循环利用资源、保护和改善环境、促进人与自然和谐的经济、技术政策和措施，使经济社会发展与环境保护相协调。 第五条环境保护坚持保护优先、预防为主、综合治理、公众参与、损害担责的原则。 第六条一切单位和个人都有保护环境的义务。 地方各级人民政府应当对本行政区域的环境质量负责。 企业事业单位和其他生产经营者应当防止、减少环境污染和生态破坏，对所造成的损害依法承担责任。 公民应当增强环境保护意识，采取低碳、节俭的生活方式，自觉履行环境保护义务。 第七条国家支持环境保护科学技术研究、开发和应用，鼓励环境保护产业发展，促进环境保护信息化建设，提高环境保护科学技术水平。 第八条各级人民政府应当加大保护和改善环境、防治污染和其他公害的财政投入，提高财政资金的使用效益。 第九条各级人民政府应当加强环境保护宣传和普及工作，鼓励基层群众性自治组织、社会组织、环境保护志愿者开展环境保护法律法规和环境保护知识的宣传，营造保护环境的良好风气。 附件1： 环境保护相关专业新旧专业对应表 注1：本表中“新专业名称”指中华人民共和国教育部高等教育司1998年颁布的《普通高等学校本科专业目录》中规定的专业名称；“旧专业名称”指1998年《普通高等学校本科专业目录》颁布前各院校采用的专业名称。 注2：研究生、博士生环境保护相关专业亦适用下表（摘自国务院学位委员会和原国家教委1997年联合颁布的《授予博士、硕士学位和培养研究生的学科、专业目录》）： 若想一路顺风，请你开心度时光，永葆云淡风轻。如果遇事解不开心结，过分地追求完美，一味地与自己较真，只会伤心劳神。 万事随缘莫计较，唯求淡泊与安宁。淡然得与失，珍惜人间情。与其和自己过不去，不如顺其自然，潇潇洒洒过一生。 若想一路顺风，请别拿别人的错误惩罚自己。看得开才会快乐，放得下才会轻松。胸怀要大度，凡事能接纳，对人能包容。 遇有不顺心的人和事，切不可小肚鸡肠，怀恨在胸。你这里恼怒填胸，可惹你生气的人早已满面春风，试想，你何必再纠结、郁闷、怨言声声！ 若想一路顺风，请你用微笑掩埋苦痛。客观事实证明，人生有失就有得，得和失总是相辅相成。 不要感叹自己不幸运，不要抱怨老天不公平，得到的我们感到欣慰，失去的我们一身轻松。痛苦惋惜无济于事，坦然洒脱一路顺风！ 若想一路顺风，请你修炼豁达心，大度才能包容。忍一时风平浪静，退一步海阔天空。懂得谦让和谅解，胸襟宽阔人尊敬。磕磕绊绊全甩弃，和睦相处快乐生。 要善待他人，即使路径狭窄，也要留一步与人行。拿得起，放得下，才是人生的真性情。 若想一路顺风，请你把自己的心态好好调整。细节决定成败，心态决定人生，拥有怎样的心态，就会有怎样的生活和心情。 面对困难和挫折，勇于挑战自我，就没有过不去的坎儿，就没有超越不了的山峰，就没有走不出去的困境，就会迎来风雨之后的彩虹！拥有一个良好的心态，就能乐观开朗地面对生活和人生。 若想一路顺风，请你懂得感恩和尊重。人生在世，就应该懂得感恩，感恩有父母的爱，感恩有亲人的疼，感恩有同事的帮，感恩有朋友同行，感恩有美妙的乐声，感恩有美丽的风景。 你如果懂得了感恩，也就拥有了别人的爱，也就赢得了别人的真诚和尊重！ 若想一路顺风，请你清除羡慕、嫉妒、恨。尽管羡慕是人们的本能，但过于羡慕别人的人，一直都在追逐着别人的梦。 嫉妒和恨，更是一剂心灵的毒药，是一种扭曲的心理，我们应该懂得欣赏别人，将别人的优秀看在眼里，记在心中，让他人激励自己前行。 若想一路顺风，请你学会释放，不要钻进死胡同。生活纷繁，不要被困境和失败糟糕了心情。 生命，也有不能承受之重，要学会放下和释重，不能苦苦支撑。让心灵的阳光，冲破压抑的云层，让我们时刻保持着好心情！ 人生途中，愿你一路顺风！ 工作行为规范系列 新修订《环境保护法》知识竞赛（答案） （标准、完整、实用、可修改） 编号：FS-QG-71388新修订《环境保护法》知识竞赛 （答案） Knowledge Contest of Newly Revised "Environmental Protection Law" Answer 说明：为规范化、制度化和统一化作业行为，使人员管理工作有章可循，提高工作效率和责任感、归属感，特此编写。 1、新修订的《环保法》规定，国家采取有利于节约和循环利用资源、保护和改善环境、促进人与自然和谐的经济、技术政策和措施，使相协调。 A、经济社会发展与环境保护 B、环境保护与经济社会发展 C、环境保护与经济建设和社会发展 2、新修订的《环保法》自起施行。 A、20xx年11月1日 B、20xx年12月31日 C、20xx年1月1日 3、新修订的《环保法》规定每年的为环境日。 A、6月8日 B、6月6日 C、6月5日 4、环境保护是国家的。 A、基本国策 B、基石 C、重要支撑 5、新修订的《环保法》第十九条规定，编制有关开发利用规划，建设对环境有影响的项目，应当依法进行。 A、环境影响评价 B、环境监察 C、环境监测 6、新修订的《环保法》第五十九条规定:企业事业单位和其他生产经营者违法排放污染物，受到罚款处罚，被责令改正，拒不改正的，依法作出处罚决定的行政机关可以自责令改正之日的次日起，按照原处罚数额按连续处罚。 A、日 B、月 C、周 7、公民应当增强环境保护意识，采取的生活方式，自觉履行环境保护义务。 A、低碳、节俭 B、自给自足 C、科学、有效 8、新修订的《环保法》第十三条规定，环境保护规划的内容应当包括的目标、任务、保障措施等，并与主体功能区规划、土地利用总体规划和城乡规划等相衔接。 A、城市规划和污染防治 B、生态保护和城乡建设 C、生态保护和污染防治 一、Pentaho 整体架构 cc 二、Client tools 1. Report Designer 报表创建工具。如果想创建复杂数据驱动的报表，这是合适工具。 2. Design Studio 这是基于eclipse的工具，你可以使用它来创建手工编辑的报表或分析视图xaction 文件，一般用来对在report designer中无法增加修改的报表进行修改。 3. Aggregation Designer 帮助改善Mondrian cube 性能的图形化工具。 4. Metadata Editor 用来添加定制的元数据层到已经存在的数据源。一般不需要，但是它对应业务用户在创建报表时解析数据库比较容易。 5. Pentaho Data Integration 这是kettle etl工具。 6. Schema Workbench 帮助你创建rolap的图形化工具。这是为分析准备数据的必须步骤。 三、Pentaho BI suit community editon安装 硬件要求： RAM：At least 2GB Hard drive space：At least 1GB Processor：Dual-core AMD64 or EM64T 软件要求： 需要JRE 1.5版本，1.4版本已经不再支持。 修改默认的端口8080，打开\biserver-ce\tomcat\conf目录下的server.xml文件，修改 目录 1. ETL知识 (3) 1.1. ETL定义 (3) 1.1.1. 定义 (3) 1.1.2. 前提 (3) 1.1.3. 原则 (3) 1.2. 模式及比较 (4) 1.3. ETL过程 (7) 1.3.1. 总流程 (7) 1.3.2. 数据抽取流程 (8) 1.3.3. 数据清洗流程 (8) 1.3.4. 数据转换流程 (10) 1.3.5. 数据加载流程 (11) 1.4. 问题分析 (12) 1.4.1. 字符集问题 (12) 1.4.2. 缓慢变化维处理 (14) 1.4.3. 增量、实时同步的处理 (14) 1.4.4. 断点续传 (15) 1.5. ETL工具 (15) 2. Kettle简介及使用 (16) 2.1. 什么Kettle？ (16) 2.2. 下载及安装Kettle (17) 2.3. Kettle简单例子 (19) 2.3.1. 启动Kettle (19) 2.3.2. 创建transformation过程 (20) 2.3.3. 创建job过程 (41) 2.3.4. 命令行运行ktr和kjb (45) 1.ETL知识 1.1.ETL定义 1.1.1.定义 ●定义： 数据的抽取(Extract)、转换(Transform)、装载(Load)的过程。 ●目标： 数据优化。以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据。 1.1. 2.前提 ●确定ETL范围 通过对目标表信息的收集，确定ETL的范围 ●选择ETL工具 考虑资金 运行的平台、对源和目标的支持程度、可编程的灵活性、对源数据变化的监测、数据处理时间的控制、管理和调度功能、对异常情况的处理 ●确定解决方案 抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换及数据验证 1.1.3.原则 ●应尽量利用数据中转区对运营数据进行预处理。保证数据的安全性、集 成与加载的高效性。 新《环境保护法》试题 一、单项选择题 1、新修订的《环保法》第四十三条规定，排放污染物的企业事业单位和其他生产经营者，应当按照国家有关规定缴纳 C 。 A、环境保护税 B、经费 C、排污费 2、新修订的《环保法》第四十七条规定，企业事业单位应当按照国家有关规定制定突发环境事件应急预案，报 A 和有关部门备案。 A、国务院 B、地方政府 C、环境保护主管部门 3、新修订的《环保法》第五十六条规定，对依法应当编制环境影响报告书的建设项目， A 应当在编制时向公众说明情况，充分征求意见。 A、建设单位 B、审批单位 C、监督单位 4、因环境污染损害赔偿提起诉讼的时效期间为 C 年，从当事人知道或者应当知道其受到损害时起计算。 A、一 B、二 C、三 5、县级以上环境保护部门及其所属监测机构出具的监测数据，经 B 环境保护部门认可的，可以作为证据使用。 A、市级以上 B、省级以上 C、国务院 6、对案件所涉的环境污染专门性问题难以确定的，由 B 鉴定机构出具鉴定意见，或者由国务院环境保护部门指定的机构出具检验报告。 A、环境污染 B、司法 C、物证 7、环境影响评价文件中的环境影响报告书或者环境影响报告表，应当由 C 编制。 A、环境保护主管部门 B、企业环境保护部门 C、具有相应资质的机构 8、排放许可证制度是以 A 为目标。 A、改善环境质量 B、控制污染物总量 C、整治环境污染 9、当前解决好环境保护问题要坚持污染防治与 A 并重的原则。 A、生态保护 B、节约资源 C、废物利用 10、新修订的《环保法》共 B 章 B 条。 A、六 68 B、七 70 C、八 69 11、防治污染的设施应当符合经批准的环境影响评价文件的要求，不得擅自 A A、拆除或者闲置 B停用或者损坏 C、变更或者闲置 12、重点排污单位应当按照国家有关规定和 A 安装使用监测设备，保证监测设备正常运行，保存原始监测记录。 A、监测规范 B使用规范 C、监测标准 13、新修订的《环保法》第四十四条规定，对超过国家重点污染物排放总量控制指 标或者未完成国家确定的环境质量目标的地区， B 应当暂停审批其新增重点污染物排放总量的建设项目环境影响评价文件。 A、国家环境保护主管部门 B省级以上人民政府环境保护主管部门 C、县级以上人民政府环境主管部门 14、新修订的《环保法》第四十五条规定，实行排污许可管理的企业事业单位和其他生产经营者应当按照 A 的要求排放污染物。 A、排污许可证 B总量控制指标 C、环境管理 15、新修订的《环保法》第四十七条规定，各级人民政府及其有关部门和企业事业 单位，应当依照的 C 规定，做好突发环境事件的风险控制、应急准备、应急处置和事后恢复等工作。 A、《中华人民共和国环境保护法》 B《中华人民共和国环境影响评价法》 C、《中华人民共和国突发事件应对法》 16、新修订的《环保法》第四十七条规定，突发环境事件应急处置工作结束后， A 应当立即组织评估事件造成的环境影响和损失，并及时将评估结果向社会公布。 A、有关人民政府 B、当地环境保护主管部门 C、上一级环境保护主管部门 17、新修订的《环保法》第五十条规定， C 应当在财政预算中安排资金，支持农村饮用水水源地保护、生活污水和其他废弃物处理、畜禽养殖和屠宰污染防治、土壤污染防治和农村工矿污染治理等环境保护工作。 A、国家环境保护主管部门 B、省级以上环境保护主管部门 C、各级人民政府 18、新修订的《环保法》第五十六条规定，对依法应当编制环境影响报告书的建设 项目， A 应当在编制时向可能受影响的公众说明情况，充分征求意见。 A、建设单位 B、环境保护主管部门 C、各级人民政府 19、新修订的《环保法》第六十三条规定，企业事业单位和其他生产经营者违反法 律规定，未取得排污许可证排放污染物，被责令停止排污，拒不执行的，尚不构成 犯罪的，除依照有关法律法规规定予以处罚外，由县级以上人民政府环境保护主管 Kettle安装及使用说明 1.什么Kettle？ Kettle是一个开源的ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）项目，项目名很有意思，水壶。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。Kettle包括三大块： Spoon——转换/工作(transform/job)设计工具(GUI方式) Kitchen——工作(job)执行器(命令行方式) Span——转换(trasform)执行器(命令行方式) Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 2.Kettle简单例子 2.1下载及安装Kettle 下载地址：https://www.360docs.net/doc/214745352.html,/projects/pentaho/files 现在最新的版本是 3.6，为了统一版本，建议下载 3.2，即下载这个文件pdi-ce-3.2.0-stable.zip。 解压下载下来的文件，把它放在D：\下面。在D:\data-integration文件夹里，我们就可以看到Kettle的启动文件Kettle.exe或Spoon.bat。 2.2 启动Kettle 点击D:\data-integration\下面的Kettle.exe或Spoon.bat，过一会儿，就会出现Kettle的欢迎界面： 稍等几秒，就会出现Kettle的主界面: 2.3 创建transformation过程 a.配置数据环境 在做这个例子之前，我们需要先配置一下数据源，这个例子中，我们用到了三个数据库，分别是：Oracle、MySql、SQLServer，以及一个文本文件。而且都放置在不同的主机上。 Oralce：ip地址为192.168.1.103,Oracle的实例名为scgtoa,创建语句为：create table userInfo( id int primary key, 新《环境保护法》考试试题 部门：姓名：分数： 一、单选题：（每题2分，共40分） 1.以环境的构成要素为标准进行分类，环境可分为：（） A.农业环境、工业环境、生活环境等 B.大气环境、水环境、土壤环境等 C.城市环境、区域环境、流域环境等 D.人工环境、生态环境、生活环境等 2.直接体现预防为主原则的环境法基本制度是：（） A.排污收费制度 B.限期治理制度 C.“三同时”制度 D.环境事故报告制度 3.根据环境质量影响评价制度，大中型开发建设项目必须编制： （） A.环境影响报告书 B.环境影响报告表 C.环境保护方案 D.环境污染防治方案 4.破坏环境民事责任的归责原则是：（） A.过错责任原则 B.无过错责任原则 C.公平责任原则 D.危险责任原则 5.防止环境污染和其他公害主要针对的是：（） A.大气污染 B.水污染 C.自然界中的灾害性事故 D.人类活动对环境造成的污染与损害 6.国家对直接从地下或者江河、湖泊取水的，实行（）制度。 A．征收水资源费 B．取水许可证 C．节约用水 D．合理开发利用7.排污费的（）部分可适当用于补助环境保护部门监测仪器设备的购置和环境保护部门自身建设等业务支出。 A．20％ B．80％ C．50％ D．40％ 8.企业事业单位和其他生产经营者违法排放污染物，受到罚款处罚，被责令改正，拒不改正的，依法作出处罚决定的行政机关可以自责令改正之日的次日起，按照原处罚数额按（）连续处罚。 A.季度 B.月 C.日 D.年 9.编制有关开发利用规划，建设对环境有影响的项目，应当依法进行（）。 A.环境监察 B.环境影响评价 C.环境检查 D.安全验收评价 10.公民应当增强环境保护意识，采取（）的生活方式，自觉履行环境保护义务。 A.自给自足 B.节约低碳 C.奢华 D.铺张 11.《环境保护法》第四十七规定，在发生或者可能发生突发环境事件时，企业事业单位应当立即采取措施处理，及时通报可能受到危害的单位和居民，并向（）和有关部门报告。 A.地方政府 B.安全监督管理部门 C.环境保护主管部门 D.公安机关 12.新修订的《环保法》第五十六条规定，对依法应当编制环境影响报告书的建设项目，（）应当在编制时向公众说明情况，充分征求意见。 Pentaho 开放源码的商业智能平台 技术白皮书 摘要 所有组织都希望在业务过程和总性能中通过改善效率和有效性来提高收入，降低成本，达到改善收益的目的。而商业智能(BI) 软件供应商声称他们有相应技术来满足这种需求。 这些软件供应商销售用于构建这些解决方案（Solution）的产品或工具，但很少关注客户 面临的真正问题。客户为了新需求，而不断去联系新的供应商，买进新的工具，聘请新的顾问。最终，公司的BI initiative 变成了众多相互独立的解决方案（Solution），为了维护和协调它们，需要使用各种昂贵的调度管理程序来整合各个方案。 在现有方案中，每为解决一个特定问题，就设计一个应用平台，这样在实际应用中，一个业务问题被分割成许多单独的任务，如报表，分析，数据挖掘，工作流等等，而没有应用负责初始化，管理，验证或调整结果，最终需要人手动的来弥补这些不足。 这个白皮书描述了Pentaho 商业智能平台：一个面向解决方案（Solution）的BI 平台，其将开放源码组件/公开标准和流程驱动引擎集成在一起。它显示了这个BI 平台如何通过将BI 和工作流/流程管理相结合，并对之进行改善，并以开放源码的形式发布平台来解决BI 问题。 问题描述 传统的商业智能(BI) 工具昂贵、复杂，并且在效率和性能方面具有很大不足，难于让 企业获得真正益处。各个软件供应商均承诺其BI 将提供整合，分析和报表等必要功能， 将数据转换成蕴涵价值的知识，使管理者得到更及时有用的决策信息。不幸的是，这种 BI 系统和报表系统几乎并没有什么太大的差别，仅仅如此是不能满足需求的。 当传送一个报表，或遇到一个特定情形时，需要触发一些特定的应对操作：重新响应决 策，并需要发现引发这些变化的原因，或启动一个特定流程。在这些案例中，信息展示， 分析和传送(BI) 是一个较大流程里的一部分。我们需要这样的流程来解决商业问题。 （译者注：作者强调业务流程是商业问题的关键。BI只是业务流程的一部分。） 为澄清： 通常一个商业问题的解决方案（Solution）是一个包含商业智能(BI) 的流程。 开源商业智能分析工具和报表工具介绍 在大数据和开放数据的重要性日益增长的经济体中，为了以精确和可读的格式分析和呈现数据，企业应当采用什么工具？ 此文涵盖了有助于解决此问题的一些工具，包括顶级的开源商业智能（BI）工具以及报表工具。如有其它同类优秀项目，欢迎回复补充。 01BIRT BIRT 是一个开源技术平台，用于创建可视化数据和报表。它源自开源的Eclipse 项目，于2004 年首次发布。 BIRT 由多个组件组成，主要组件包括报表设计器和BIRT 运行时。另外还提供三个额外的组件：报表引擎、报表设计器和报表阅读器。使用这些组件，可以作为独立解决方案来进行开发和发布报表。 BIRT 是用Java 编写的，根据EPL 许可证授权，最新的版本可在Windows、Linux 和Mac 上运行。 02JasperReport JasperReport 是广为流行的开源报表工具之一，在数十万个生产环境中使用，分社区和商业支持版本。JasperReport 同样由多个组件组成，包括JasperReport Library、JasperReport Studio 和JasperReport Server。ETL、OLAP 和服务器组件为JasperReport 提供了良好的企业环境，使其更容易与现有的IT 体系结构集成。 JasperReport 有优秀的文档、wiki 和一些其他资源的支持，以Java 编写，可运行在Windows、Linux 和Mac 上，根据AGPL 许可证授权。 03Pentaho Pentaho 是一个完整的商业智能套件，涵盖从报告到数据挖掘的各种用例。Pentaho BI 套件包含多个开源项目，Pentaho Reporting 就是其中之一。像其他工具一样，Pentaho Reporting 具有丰富的功能集，可以在企业组织中使用。 Pentaho BI 套件还包含Pentaho BI 服务器。这是一个J2EE 应用程序，通过基于Web 的用户界面提供运行和查看报告的基础架构。 . . KETTLE使用自己总结的Kettle使用方法和成果说明 简介 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 Kettle可以在https://www.360docs.net/doc/214745352.html,/网站下载到。 注：ETL，是英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。 下载和安装 首先，需要下载开源免费的pdi-ce软件压缩包，当前最新版本为5.20.0。 下载网址：https://www.360docs.net/doc/214745352.html,/projects/pentaho/files/Data%20Integration/然后，解压下载的软件压缩包：pdi-ce-5.2.0.0-209.zip，解压后会在当前目录下上传一个目录，名为data-integration。 由于Kettle是使用Java开发的，所以系统环境需要安装并且配置好JDK。 ?Kettle可以在https://www.360docs.net/doc/214745352.html,/网站下载 ? 下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可。运行Kettle 进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat 或Kettle.exe文件。Linux用户需要运行spoon.sh文件，进入到Shell提示行窗口，进入到解压目录中执行下面的命令： # chmod +x spoon.sh # nohup ./spoon.sh &后台运行脚本 这样就可以打开配置Kettle脚本的UI界面。 新《环境保护法》五大新亮点 十二届全国人大常委会第八次会议于4月24日表决通过了新的《环境保护法》，新法将于2015年1月1日起施行。本次修改明确了新世纪环境保护工作的指导思想，加强政府责任和责任监督，衔接和规范相关法律制度，以推进环境保护法及其相关法律的实施。修改后的法律共七章七十条，与现行法的六章四十七条相比，有了较大变化，其中凸显建立公共预警机制、扩大公益诉讼主体、加强政府监管职责等五方面亮点。 新举措——建立公共检测预警机制 谈到环境保护，公众最为关心的就是对雾霾的治理。近年来，以雾霾为首的恶劣天气增多，雾霾成为了一些城市的最大危害。新修订的《环境保护法》对雾霾等大气污染，作出了有针对性的规定。新法规定，国家建立健全环境与健康监测、调查和风险评估制度；鼓励和组织开展环境质量对公众健康影响的研究，采取措施预防和控制与环境污染有关的疾病；国家建立环境污染公共监测预警的机制，县级以上人民政府建立环境污染公共预警机制，组织制定预警方案；环境受到污染，可能影响公众健康和环境安全时，依法及时公布预警信息，启动应急措施；国家建立跨行政区域的重点区域、流域环境污染和生态破坏联合防治协调机制。《环境保护法》的修改，强化了对大气污染、特别是雾霾的治理和应对。同时，环保是一个系统工程，又是一项长期任务，必须由政府、公民、企业共同努力。以雾霾为代表的大气污染，还需要《大气污染法》等单项法来进行具体规范和防治。 新制定——划定生态保护红线 作为保护我国生态资源的重要方式，生态保护红线这一概念，自被提出起，就受到社会各界的广泛关注。今年年初，环保部印发了《国家生态保护红线—生态功能基线划定技术指南（试行）》，成为我国首个生态保护红线划定的纲领性技术指导文件。根据规划，2014年，环保部将完成全国生态保护红线划定任务。 修订后的《环境保护法》首次将生态保护红线写入法律。新法规定，国家在重点生态保护区、生态环境敏感区和脆弱区等区域，划定生态保护红线，实行严格保护。《环境保护法》同时规定，省级以上人民政府应当组织有关部门或者委托专业机构，对环境状况进行调查、评价，建立环境资源承载能力监测预警机制。新法同时也加大了对生态保护地区的财政转移支付力度，法条中涉及到地方人民政府需落实生态保护的补偿资金，确保其用于生态保护补偿。 新主体——环境公益诉讼主体扩大 新法扩大了环境公益诉讼的主体，规定凡依法在设区的市级以上人民政府民政部门登记的，专门从事环境保护公益活动连续五年以上且信誉良好的社会组织，都能向人民法院提起诉讼。此举对增强公众保护环境的意识，树立环境保护的公众参与理念，及时发现和制止环境违法行为，具有十分重要的意义和作用。 扩大环境公益诉讼主体的规定，是借鉴了国际惯例。国际上对诉讼主体的要求是由环境公益诉讼的性质和作用来决定的。由于专业性比较强，要求起诉主体对环境的问题比较熟悉，要具有一定的专业性和诉讼能力以及比较好的社会公信力，或者说宗旨是专门从事环境保护工作，要致力于公益性的活动，不牟取经济利益的社会组织，才可以提起公益诉讼。 新标准——按日计罚无上限 多年来，国家环境立法不少，但由于违法成本低，对违规企业的经济处罚并未取得应有的震慑效果，导致法律法规并未起到真正的约束作用。环境违法成本低，也是新法着力解决的一个问题。 修订后的《环保法》第六章“法律责任”第五十九条明确规定，企业事业单位和其他生产经营者违法排放污染物，受到罚款处罚，被责令改正，拒不改正的，依法作出处罚决定的行政机关可以自责令更改之日的次日起，按照原处罚数额按日连续处罚。“按日计罚”这一记重拳是针对企业拒不改正超标问题等比较常见的违法现象而采取的措施，目的就是加大违法成本。在中国现行行政法规体系里，这是一个创新性的行政 Pentaho工具 使用手册 目录 BI 介绍 (2) Pentaho产品介绍 (2) Pentaho产品线设计 (3) Pentaho BI Platform安装 (4) Pentaho Data Integration-------Kettle (8) Pentaho Report Designer (13) Saiku (24) Schema Workbench (28) 附件 (33) BI 介绍 1. BI基础介绍 挖掘技术对客户数据进行系统地储存和管理，并通过各种数据统计分析工具对客户数据进行分析，提供各种分析报告，为企业的各种经营活动提供决策信息。其中的关键点是数据管理，数据分析，支持决策。 根据要解决问题的不同，BI系统的产出一般包括以下三种： 2. BI系统的产出 2.1 固定格式报表 固定格式报表是BI最基本的一种应用，其目的是展示当前业务系统的运行状态。固定格式报表一旦建立，用户就不可以更改报表的结构，只能依据数据库的数据不断刷新报表，以便取得较新的数据。在pentaho产品线中，我们使用pentaho report designer来实现固定格式报表的需求。 2.2 OLAP分析 OLAP分析是指创建一种动态的报表展示结构，用户可以在一个IT预定义的数据集中自由选择自己感兴趣的特性和指标，运用钻取，行列转换等分析手段实现得到知识，或者验证假设的目的。在pentaho产品线中，我们使用Saiku来实现OLAP分析的需求。 2.3 数据挖掘 数据挖掘是BI的一种高级应用。数据挖掘是指从海量数据中通过数据挖掘技术得到有用的知识，并且以通俗易懂的方式表达知识，以便支持业务决策。在pentaho产品线中，我们使用weka来实现数据挖掘的需求。 Pentaho产品介绍 1. 产品介绍 Pentaho产品文档 1 Pentaho公司介绍 (1) 2 Pentaho产品简介 (1) 2.1 Pentaho mobile BI (1) 2.1.1实时和交互式可视化 (1) 2.1.2功能齐全的移动优化界面 (2) 2.2 Pentaho Business Analytics (2) 2.2.1 功能强大的交互可视化 (2) 2.2.2 用于商业洞察的分析面板 (3) 2.2.3 易于使用的交互式动态报表 (3) 2.2.4 流线型管理 (4) 2.2.5 完整的数据集成 (4) 2.2.6 简单的拖拽可视化设计器 (5) 2.2.7 预测性分析方案 (5) 2.3 Pentaho Big Data Analytics (6) 2.3.1 完整的大数据平台 (6) 2.3.2 交互式的分析方案、报表、可视化功能和面板 (7) 2.3.3 自适应大数据层 (8) 2.3.4 强大的数据挖掘和预测分析方案 (8) 2.4 Pentaho Data Integration (9) 2.4.1 针对拖拽式开发的简单可视化设计器 (9) 2.4.2 零编码要求的大数据集成 (10) 2.4.3 本地灵活支持所有大数据源 (10) 2.4.4 强大的管理 (12) 2.4.5 数据剖析数据质量信息 (12) 2.5 Embedding Pentaho Analytics (12) 2.5.1 提供定制化分析方案 (12) 2.5.2 Pentaho支撑程序 (13) 2.5.3 开放的架构和标准，支持广泛的扩展 (13) 2.5.4 正确的合作伙伴和商业条款 (13) 3 版本介绍 (14) 4 成功案例 (14) 5 Pentaho全球合作伙伴 (15) 云计算大数据处理分析六大最好工具 2016年12月 一、概述 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分享在大数据处理分析过程中六大最好用的工具。 我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 二、第一种工具：Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。 Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：●高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 ●高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的， 这些集簇可以方便地扩展到数以千计的节点中。 Kettle配置使用文档说明 一、安装配置Kettle系统环境 1.安装前准备 JAVA安装文件下载地址： https://www.360docs.net/doc/214745352.html,/technetwork/java/javase/downloads/java-archive-downloa ds-javase6-419409.html 1.Windows下安装JDK1.6，并配置环境变量 ##下载Jdk1.6.exe直接执行安装程序 2.Linux下配置JDK1.6，并配置环境变量 ###下载JDK1.6到目录/usr/java/ ###更改JDK可执行权限 chmod +755 jdk1.6.xx.bin ###执行安装 ./jdk1.6.xx.bin ###配置JAVA环境变量 vi /etc/profile # java 1.6 setup JAVA_HOME=/usr/java/jdk1.6.0_43 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export JAVA_HOME PATH CLASSPATH ###应用环境变量 source /etc/profile ###查看JAVA版本信息 java -version 2.Kettle下载解压到指定目录,下载kettle标准版工具包: https://www.360docs.net/doc/214745352.html,/project/pentaho/Data%20Integration/4.4.0-stable/p di-ce-4.4.0-stable.zip 解压到目录: D:\data-integration (目录可根据实际情况自定义) 二、Kettle基本操作过程 数据库操作说明: 生产数据库: 10.176.0.221 DB : e2tms4 用户名: e2tms4 密码:1234567 本地文本文件: D:\Db_file\outfile.txt Kettle数据仓库: 10.176.0.221 DB : kettledb用户名: kettle 密码:1234567 1.启动Kettlet应用程序, 打开D:\data-integration\下面的Kettle.exe或Spoon.bat，出现Kettle的欢迎界面之后出现用户登录界面,先不加载配置,点击”没有资源库”,打开程序主界面,Kettle开源ETL平台_安装配置及使用说明v1.1
新环保法全文,2019.4.24修订,2019.1.1起施行
环境保护相关专业新旧专业对应表
新修订《环境保护法》知识竞赛(答案)
pentaho介绍
ETL及kettle介绍
新《环保法》试题及答案
pentaho-Kettle安装及使用说明(例子)
2018年新《环境保护法》考试试题及答案
Pentaho 开放源码的商业智能平台技术白皮书
开源商业智能分析工具和报表工具介绍
中华人民共和国环境保护法练习题答案
1 中华人民共和国环境保护法
? 1、（单选题）下列关于新修订的《环境保护法》生态环境公益诉讼制度 的说法正确的一项是（ ）。
o
A.专门从事环境保护公益活动连续三年以上且无违法记录的向人民法
院提起环境公益诉讼
o
B.对污染环境、破坏生态，损害社会公共利益的行为，无关利益方无权
起诉
o
C.经登记的社会组织有权提起环境公益诉讼
o
D.依法在设区的市级以上人民政府民政部门登记的社会组织可以向人
民法院提起环境公益诉讼
正确答案：D
? 2、（单选题）《环境保护法》中直接体现预防为主原则的环境法基本制 度是（ ）。
o
A.环境事故报告制度
o
B.限期治理制度
o
C.“三同时”制度
o
D.排污收费制度
正确答案：C
? 3、（单选题）《环境保护法》规定，企业事业单位和其他生产经营者违 法排放污染物，受到罚款处罚，被责令改正，拒不改正的，依法作出处罚 决定的行政机关可以自责令改正之日的次日起，（ ）。
o
A.按照原处罚数额按日连续处罚
o
B.追究其刑事责任
范文.
o
C.按日连续处罚
o
D.按日连续处罚且向社会公布违法者名单
正确答案：A
? 4、（单选题）下列关于重点排污单位信息公开的说法不准确的一项是（ ）。
o
A.重点排污单位不公开或者不如实公开环境信息的，由县级以上地方人
民政府环境保护主管部门责令公开
o
B.重点排污单位不公开或者不如实公开环境信息的，应予罚款，但不得
公告
o
C.重点排污单位应当接受社会监督
o
D.重点排污单位应当如实向社会公开防治污染设施的建设和运行情况
正确答案：B
? 5、（单选题）根据《环境保护法》规定，关于公民环境保护义务的说法 不正确的一项是（ ）。
o
A.《环境保护法》对公民的环境保护义务并没有作出明确规定
o
B.《环境保护法》明确规定公民采用低碳、节俭的生活方式
o
C.公民应按照规定对生活废弃物进行分类放置
o
D.公民应当自觉履行环境保护义务
正确答案：A
? 6、（单选题）公民、法人和其他组织发现任何单位和个人有污染环境和 破坏生态行为的，有权（ ）。
o
A.向环境保护主管部门举报
o
B.举报
o
C.制止
范文.自己总结的Kettle使用方法和成果
新《环境保护法》五大新亮点
pentaho 4.5工具使用手册
Pentaho产品文档
大数据分析的六大工具介绍
Kettle4.4配置使用文档说明