检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会丢失在此节点上运行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述
通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web
String 参数解释: 虚拟机ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 name String 参数解释: 虚拟机名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 ip String 参数解释: 虚拟机IP地址。 约束限制: 不涉及 取值范围:
manager_password:集群用户对应的密码(密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。 topic:生产消费的topic名称,默认值“example-metric1”。 isAsync:是否使用异步生产,默认值“false”。 consumer.alive.ti
tor --support-timestamp 表1 参数说明 命令 描述 必填 默认值 --database Hive database名称 N default --table Hive表名 Y - --base-file-format 文件格式 (PARQUET或HFILE)
node_ip node_ip:集群内其他节点IP,不支持多个IP。 登录FusionInsight Manager,在“主页”中单击待操作集群名称后的“ > 启动”(MRS 3.3.0及之后版本,选择“主页”右上角的“更多> 启动”),启动集群。 父主题: MRS集群安全加固
"/opt/client/krb5.conf" 在Windows环境的开发环境IntelliJ IDEA中,在“Maven Projects > 样例工程名称 > Lifecycle”中,执行“clean”和“package”操作,编译完成后,在target目录下即可生成“hetu-examples-XXX
/opt/client/Oozie/oozie-client-*/examples/apps/spark2x/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。
> 服务 > HBase > 配置 > 全部配置”,在搜索框中搜索表1中的参数,并修改对应参数值。 表1 HBase表级别过载控制参数 参数名称 参数说明 参数修改建议 hbase.ipc.server.default.callqueue.size.overload.threshold
SET参数描述 参数 描述 parameter_name 其值需要被动态添加(add),更新(update)或显示(display)的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性:
会丢失在此节点上运行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述
/opt/client/Oozie/oozie-client-*/examples/apps/sqoop/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 执行以下命令,编辑“job
ession, "table_test","default", customSegments) 给定segment列表,返回合并后新的导入名称: /** * Returns the Merged Load Name for given list of segments * *
/opt/client/Oozie/oozie-client-*/examples/apps/sqoop/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 执行以下命令,编辑“job
0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 spark-beeline和spark-sql 可使用spark-beeline或spark-sql登
java”文件中的“TOPIC”变量,例如:public final static String TOPIC = "kafka-topic"。 该样例默认的时序数据模板为“设备名称,时间戳,值”,例如“sensor_1,1642215835758,1.0”,可根据实际场景在“Constant.java”文件修改“IO
ession, "table_test","default", customSegments) 给定segment列表,返回合并后新的导入名称: /** * Returns the Merged Load Name for given list of segments * *
GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,单击“全部配置”,单击“NodeManager > 系统”,在“GC_OPTS”参数中修改配置。 表1
参数解释: 当前查询页码。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_name 否 String 参数解释: 作业名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群编号。 约束限制:
xml”文件路径。 打包成功之后,在工程根目录的target子目录下获取打好的jar包,例如“HDFSTest-XXX.jar”,jar包名称以实际打包结果为准。 将导出的Jar包上传至Linux客户端运行环境的任意目录下,例如“/opt/client”。 配置环境变量: cd /opt/client