检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Oozie应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在开发Oozie应用程序时，某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全
kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了HDFS的客户端。 代码认证： 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static final String PRNCIPAL_NAME
说明 user 用于Kerberos认证的用户名，即准备开发用户中创建的开发用户的用户名。 KerberosPrincipal 用于认证的名字，即认证准备开发用户中创建的开发用户的用户名。 KerberosConfigPath krb5.conf的路径。 注意转义“\” KerberosKeytabPath
contain a valid host:port authority的报错，如何处理？ 问题现象 安全集群中，Alluixo在HA模式下出现Does not contain a valid host:port authority的报错。 原因分析 org.apache.hadoop.security
kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了HDFS的客户端。 代码认证： 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static final String PRNCIPAL_NAME
在弹出的“Ssh”窗口中配置以下参数并单击“添加”。 User and Host：User为3中配置互信的用户，参数配置格式为：运行SSH任务的用户@运行SSH任务的节点的IP地址。例如该配置项的值可设置为：root@x.x.x.x。 Ssh command：提交作业的具体命令。
在弹出的“Ssh”窗口中配置以下参数并单击“添加”。 User and Host：User为3中配置互信的用户，参数配置格式为：运行SSH任务的用户@运行SSH任务的节点的IP地址。例如该配置项的值可设置为：root@x.x.x.x。 Ssh command：提交作业的具体命令。
在kerberos认证集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。
下载认证凭据 将下载的认证凭据压缩包解压缩，并将得到的文件复制到客户端节点中，例如客户端节点的“/opt/hadoopclient/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端，需要将得到的文件复制到该节点的“/etc/”目录下。 将客户端安装节点的业务IP和M
在“角色”，单击“添加”选择指定的角色并添加。 对于已启用Ranger授权的组件（HDFS与Yarn除外），Manager上非系统默认角色的权限将无法生效，需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下，组件ACL规则仍将生效。
为各个分区的数据量是会有波动的，分区下桶的个数设计一般会按照最大分区数据量计算，这样会出现越细粒度的分区，桶的个数会冗余越多。例如： 采用天级分区，平均的日增数据量是3GB，最多一天的日志是8GB，这个会采用Bucket桶数= 8GB/2GB = 4 来创建表；每天的更新数据占比
可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 Spark作业常用的运行程序参数如表2所示，可根据执行程序及集群资源情况进行配置。 - 执行程序参数 可选参数，程序执行的关键参数，该参数由用户程序内的函数指定，MRS只负责参数的传入。
由于MapReduce的作业日志和任务日志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop A
由于MapReduce的作业日志和任务日志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop A
一般情况下，建议就近选择靠近您或者您的目标用户的区域，可以减少网络时延，提高访问速度。但在基础设施、BGP网络品质、资源的操作与配置等方面，同一个国家各个区域间区别不大，如果您或者您的目标用户在同一个国家，可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户，可以选择“中国
Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin节点IP。 输入的证书密码为用户自定义密码。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 登录MRS管理控制台。 选择“现有集群”，单击集群名称进入集群详情页面。
package 上述打包命令中的{maven_setting_path}为本地Maven的setting.xml文件路径。 打包成功之后，在工程根目录的target子目录下获取打好的jar包，例如“MRTest-XXX.jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX
Coordinator 资源使用 选取的队列中的coordinator资源使用情况。 Coordinator 资源使用率 选取的队列中的coordinator资源使用率。 Worker 资源使用 选取的队列中的worker资源使用情况。 Worker 资源使用率 选取的队列中的worker资源使用率。
package 上述打包命令中的{maven_setting_path}为本地Maven的setting.xml文件路径。 打包成功之后，在工程根目录的target子目录下获取打好的jar包，例如“MRTest-XXX.jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX
context.getConfiguration(); // 对于需要访问ZooKeeper的组件，需要提供jaas和krb5配置 // 在Map中不需要重复login，会使用main方法中配置的鉴权信息 String krb5 = "krb5.conf";
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
