检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ters/{cluster_id}/job-executions/{job_execution_id}/log-detail √ √ 查询指定集群的标签 GET /v1.1/{project_id}/clusters/{cluster_id}/tags mrs:tag:list √
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以
执行以下命令加载环境变量: source bigdata_env 启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。 例如HBase2:source /opt/client/HBase2/component_env。 将应用开发环境中生
在以Streaming方式提交MR任务给WebHCat前,需要将“hadoop-streaming-2.7.0.jar”包上传到HDFS的指定路径下:“hdfs:///apps/templeton/hadoop-streaming-2.7.0.jar”。首先登录到安装有客户端和H
默认值:7天。 log.clean.task.schedule.plan:自动清理计算实例日志的调度计划。值为cron表达式,此处仅允许指定一天中固定的触发时间。 log.max-size:HetuEngine计算实例单个日志文件的最大值,默认值:100MB。 log.max-
不涉及 min_capacity 是 Integer 参数解释: 指定该节点组的最小保留节点数。 约束限制: 不涉及 取值范围: 0-500 默认取值: 不涉及 max_capacity 是 Integer 参数解释: 指定该节点组的最大节点数。 约束限制: 不涉及 取值范围: 0-500
默认从最新commit Stream和Batch增量消费,指定“yyyyMMddHHmmss”格式时间的开始消费位置(闭区间) read.end-commit 否 默认到最新commit Stream和Batch增量消费,指定“yyyyMMddHHmmss”格式时间的结束消费位置(闭区间)
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以
4f854bf4-ea54-4595-a9d9-9b9080779ffe 其中,flink/checkpoint/checkpoint表示指定的根目录。 fd5f5b3d08628d83038a30302b611表示以jobID命名的第二次目录。 chk-X中"X"为checkpoint编号,第三层目录。
getClusterId()); } 客户端支持打印metric信息 “log4j.properties”文件中增加如下内容,客户端将metric信息输出到指定文件。 log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j
保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤
选择“弹性伸缩”页签,进入配置弹性伸缩界面。 单击“新增弹性伸缩策略”按钮,并配置“节点数量范围”为“2 - 4”。 配置资源计划。 单击默认范围下方的“配置指定时间段的节点数量范围”。 配置“时间范围”和“节点数量范围”。 “时间范围”:“07:00-13:00” “节点数量范围”:“5-8” 图2
保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤
getClusterId()); } 客户端支持打印metric信息 “log4j.properties”文件中增加如下内容,客户端将metric信息输出到指定文件。 log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j
取值范围: 不涉及 默认取值: 不涉及 arguments String 参数解释: 程序执行的关键参数。 约束限制: 该参数由用户程序内的函数指定,MRS只负责参数的传入。 取值范围: 该参数可为空。 默认取值: 不涉及 hql String 参数解释: HQL脚本语句。 约束限制:
同步中(2.x及之前版本Manager) 正在同步(3.x及之后版本Manager) 参数配置进行中。 未知 无法获取当前配置状态。 单击指定组件名称可查看该组件的详细信息。 单击“实例”,可查看服务内各角色实例的详细运行信息。 图5 查看集群组件实例状态 角色实例列表包含了该服
} ] } Resource参数中“bucket”的参数值表示OBS桶名称,“object”的参数值表示OBS对象名称,可根据需要指定名称。配置为“*”表示对所有OBS桶或OBS对象适用此策略。 其他参数按照实际需求进行配置。 勾选新建的策略名称例如“dev_visit_obs”,单击“下一步”。
FusionInsight_Cluster_1_Services_ClientConfig.tar 进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/hadoopclient”目录。 cd /tmp/FusionInsight-Client/Fus
使用IP地址搜索主管理节点并使用VNC登录主管理节点。 在主管理节点,执行以下命令切换用户。 sudo su - omm 在MRS管理控制台,查看指定集群“节点管理”页面的“IP”地址。 记录需使用客户端的Core节点IP地址。 在主管理节点,执行以下命令,将客户端安装包从主管理节点文件拷贝到当前Core节点:
表2 Query参数 参数 是否必选 参数类型 描述 tags 否 String 参数解释: 标签列表。可以通过集群的标签来搜索指定标签的集群,当指定多个tag进行查询时,标签之间是与的关系。 约束限制: 不涉及 取值范围: tags参数的格式为tags=k1*v1,k2*v2,k3*v3