检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“概览”页签,在基本信息区域获取“集群ID”。 图1 集群ID 获取作业ID 在调用作业相关接口的时候,部分URL中需要填入作业ID(job_execution_id),所以需要先在管理控制台上获取到作业ID。作业ID获取步骤如下: 登录MRS管理控制台。
您可以在弹性伸缩页面,扩容或者缩容区域查看配置的规则。 配置资源计划。 单击节点默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。 配置“生效日期”、“时间范围”和“节点数量范围”。
URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id 是 String 参数解释: 区域id,例如cn-north-4。
在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。 单击“计算实例”,单击待操作实例对应的租户名。 单击“WebUI”列的“LINK”链接,将在新页面展示计算实例任务监控页面信息。
在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 集群开启Kerberos认证时需执行该步骤,若集群未开启Kerberos认证,无需执行本步骤。
在“基本信息”区域,单击“NameNode(主)”,显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。
在首页中单击“PRESTO”区域的“HetuEngine”。 在“Access”页签单击“Add New Policy”,添加HetuEngine权限控制策略。 根据业务需求配置相关参数。
在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”。 在“自定义配置”单击“增加”添加如下参数。
fs.obs.secret.key</name> <value>xxx</value> <description>huaweicloud secret key</description> </property> obs endpoint为OBS对应的Endpoint,具体请从终端节点及区域获取
在ALM-12007 进程故障的“告警详情”区域,查看“ServiceName”是否为“ZooKeeper”。 是,执行2.d。 否,执行3。 参考ALM-12007 进程故障(2.x及以前版本)的处理步骤处理该故障。
HDFS Block:可以登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,单击“NameNode Web UI”后的“NameNode(xxx,主)”进入HDFS原生页面,在“Summary”区域进行查看,例如: 单个DataNode实例平均Block
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > ResourceManager(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 垃圾回收”,勾选“ResourceManager垃圾回收
可用区 集群工作区域下的可用区,创建集群时设置。 企业项目 集群所属的企业项目。 表2 MRS集群运行状态说明 状态 说明 启动中 集群正在创建,则其状态为“启动中”。 运行中 集群创建成功且运行正常,则其状态为“运行中”。
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。
在概览页签下的“基本信息”区域,单击“NameNode WebUI”后的链接,进入NameNode WebUI界面。 选择“Utilities > Browse the file system”,单击创建“/udf/hetuserver”。
在“告警详情”区域,查看“告警原因”,可知产生该告警的原因。 通过“定位信息”的“HostName”,获取告警产生的DataNode节点的主机名。 删除DataNode数据目录中与磁盘规划不符的目录。
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。
在“高级配置”区域勾选“现在配置”,单击引导操作栏的“添加”。 表1 参数描述 参数 示例 说明 名称 bootstrap_0 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。
在“基本信息”区域,单击“NameNode(主)”,显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。
四种类型实际命令示,以ReadFromKafka为例,集群域名为“HADOOP.COM”: 命令1: bin/flink run --class com.huawei.bigdata.flink.examples.ReadFromKafka /opt/client/FlinkKafkaJavaExample.jar