检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m -Xmx768m"” 保存并退出文件。 在Master节点执行如下命令重启knox进程。
默认取值为“application/json”，有其他取值时会在具体接口中专门说明。 Authorization：签名认证信息，可选，当使用AK/SK方式认证时，使用SDK对请求进行签名的过程中会自动填充该字段。AK/SK认证的详细说明请参见认证鉴权的“AK/SK认证”。 X-
标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一个集群，Key值唯一。 长度不超过128个字符。 不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”，且首尾字符不能为空格。 Organization
HdfsExample - success to append. 6553 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to append. 7505 [hdfs_example_1]
根据告警“定位信息”中的任务名找到失败任务，查找并记录失败作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是，执行4。 否，执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”
流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点（可以是多个） 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load"> <start to="copyData"/>
XML”，值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径，例如“/user/admin/examples/apps/hive2/hive-site.xml”。“HiveServer2 URL”及其他参数无需配置。
XML”，值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径，例如“/user/admin/examples/apps/hive2/hive-site.xml”。HiveServer2 URL”及其他参数无需配置。
conf文件，并将keytab文件和krb5.conf文件放入到“conf”目录，安全登录方法如下代码所示。 public static final String PRINCIPAL= "test@<系统域名>"; public static final String KEYTAB = FemaleInfoCollector
DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 public class SecurityKafkaWordCount { public static void main(String[] args) throws Exception
ID”，若为-1表示未匹配到策略。 action：表示执行的操作权限，对应策略中的“Permissions”中勾选的操作权限。 access：表示执行的操作，各个组件支持的access各不相同。 Admin Ranger上操作审计信息，例如安全访问策略的创建/更新/删除、组件权限策略的创建/删除、role的创建/更新/删除等。
yarn-cluster模式下执行任务时，Spark的Driver程序在Application Master下执行，而在Application Master启动时就会通过-D${spark.yarn.app.container.log.dir}设置了输出目录，因此在yarn-cl
HdfsExample - success to append. 7741 [hdfs_example_0] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to append. 7896 [hdfs_example_1]
//创建一个配置类SparkConf，然后创建一个SparkContext SparkConf conf = new SparkConf().setAppName("CollectFemaleInfo"); JavaSparkContext jsc = new JavaSparkContext(conf);
MRS集群用户权限模型 基于角色的权限控制 MRS集群通过采用RBAC（role-based access control，基于角色的权限控制）方式对大数据系统进行权限管理，将系统中各组件零散的权限管理功能集中呈现和管理，对普通用户屏蔽掉了内部的权限管理细节，对管理员简化了权限管
生成Flume服务端和客户端的配置文件 操作场景 该操作指导安装工程师在集群及Flume服务安装完成后，分别配置Flume服务的服务端和客户端参数，使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使
<name>mapreduce.application.framework.path</name> <value>hdfs:/mapred/framework/hadoop-x.tar.gz#mr-framework</value> </property> NA mapreduce.application
StringBuilder("https://").append(restHostName).append(":21309").toString(); String nonSecurityModeUrl = new StringBuilder("http://").append(restHostName)
作业编号”applicationID。 图2 作业详情 在集群详情页选择“组件管理 > Yarn > ResourceManager WebUI > ResourceManager (主)”进去Yarn的原生界面，单击applicationID。 图3 Yarn的Applications
StringBuilder("https://").append(restHostName).append(":21309").toString(); String nonSecurityModeUrl = new StringBuilder("http://").append(restHostName)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
