检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。
MRS 2.x及之前版本：引导操作脚本以root身份执行，使用不当可能会对集群可用性造成影响，请谨慎操作。脚本内部您可以通过su - xxx命令切换用户。 MRS 3.x及之后版本：引导操作脚本以omm身份执行，使用不当可能会对集群可用性造成影响，请谨慎操作。脚本内部您可以通过su
SQL基本概念和Spark Streaming基本概念。 Spark应用开发常用概念 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。 请参考准备Spark应用Java开发环境至准备Spark应用Python开发环境章节
keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input，上传数据文件。
Topic每秒的fetch请求数 Topic每秒的produce请求数 支持查询Broker ID与节点IP的对应关系。在Linux客户端下，使用kafka-broker-info.sh查询Broker ID与节点IP的对应关系。 父主题： Kafka
obs.guardian.accesslabel.enabled 是否开启使用Guardian对接OBS的access label。 true fs.obs.guardian.enabled 是否开启使用Guardian。 true fs.obs.delegation.token
本规范主要描述基于MRS-Flink组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。
“服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存的完整路
若IAM用户已同步，可在组件管理观察到存在异常角色。 若未同步，可在集群Manager页面观察到存在异常角色。 原因分析 需解决异常，等集群恢复正常后继续升级节点。 处理步骤 方式一： 进入集群组件管理页，查看服务健康状态与角色状态，若存在“未启动”的角色，进入服务。 勾选未开启的实例，单击“更多”，选择“启动实例”。
执行以下命令创建目的表t2： create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式，暂不支持指定存储格式为ORC的表。 使用Yarn客户端提交任务。 yarn --config $HADOOP_HOME/etc/hadoop jar
ME变量为实际使用的值。 private static final String PRNCIPAL_NAME = "hdfsDeveloper"; 安全认证代码 目前样例代码统一调用LoginUtil类进行安全认证。 在HDFS样例工程代码中，不同的样例工程，使用的认证代码不同，
keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input，上传数据文件。
创建MRS集群 场景描述 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。 约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC，子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区
新增作业 场景描述 在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
执行以下命令创建目的表t2： create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式，暂不支持指定存储格式为ORC的表。 使用Yarn客户端提交任务。 yarn --config $HADOOP_HOME/etc/hadoop jar
入用户组flinkgroup和hadoop，并绑定角色flinkrole取得权限，单击“确定”。 在客户端修改flinkuser密码后才能使用本用户。 若用户需要对接Kafka，则需创建具有Flink和Kafka组件的混合集群，或者为拥有Flink组件的集群和拥有Kafka组件的
件的管理权限，如需正常访问各组件的Web UI界面，请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP，并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 访问开源组件Web页面
停用Ranger鉴权”，如果“停用Ranger鉴权”是灰色，则表示未开启Ranger鉴权无需停用Ranger鉴权，如图1所示。 图1 停用Ranger鉴权 （可选）如需使用已有鉴权策略请执行该步骤在Ranger Web页面导出已有组件的鉴权策略，切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hi
<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录，在Linux系统HDFS客户端使用命令hadoop fs -put input_data1
100:7051, 192.168.0.101:7051, 192.168.0.102:7051。格式为地址:端口，中间用半角逗号隔开；建议使用长连接对象。 父主题： 开发Kudu应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
