检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程: 表1 Kafka相关样例工程 样例工程位置 描述 kafka-examples 单线程生产数据,相关样例请参考使用Producer API向安全Topic生产消息。
参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述 默认值 yarn.resourcemanager.recovery.enabled
} ] } } 结果分析: 通过这个接口,可以查询当前集群中已完成的MapReduce任务,并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间
租户角色。 (可选)若本端集群开启了Ranger鉴权,则需要给mvuser用户添加刷新物化视图和set session的权限,可分别参考表1和表2。 使用HetuEngine管理员用户登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuEngine
取决于IAM同步时,用户所绑定的IAM策略,提交作业策略请参考IAM用户同步MRS集群说明章节中表1。 用户提交作业,如果涉及到具体组件的资源使用,如HDFS的目录访问、Hive表的访问等相关组件的权限时,需由admin(Manager管理员)用户进行授权,给提交作业用户赋予相关组件权限。
复制数据的集群的HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密,“authentication”表示不加密。 对于开启了Kerberos认证的集群(安全模式),集群之间需要配置系统互信。 每个集群的两个安全组,需分别
告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“磁盘IO利用率”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“磁盘IO利用率”图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。
Manager页面,选择“运维 > 告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。 如果无对应图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考:实名认证。 MRS服务授权操作 使用具有IAM委托操作权限的用户登录管理控制台。 在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。 图1 服务授权 单击“变更权限委托”,在右侧单击,启用委托或权限策略。
> 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个写操作平均所需时间”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“每个写操作平均所需时间”图表,可单击右侧下拉三
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色 。单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Broker垃圾回收(GC)时间”,单击“确定”。 图1 Broker垃圾回收(GC)时间
若告警原因为:Spark2x assembly包异常,则表示Spark的包存在异常,等待10分钟左右,告警自动恢复。 检查Spark2x依赖的服务是否有服务不可用告警。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在以下告警: ALM-25500
配置描述 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。 表1 多主实例参数说明 参数 说明 默认值 spark.thriftserver.zookeeper.connection.timeout Z
当集群写入压力较大,不建议修改此配置。需要给常规Merge留出空闲线程,避免“Too manyparts parts”。 对于已存在的大表(数据量超亿级别),不要使用修改或新设置TTL的方式来实现数据老化能力,推荐使用定时任务“alter table table_name on
包年/包月MRS从购买到被自动删除之前,您可以随时在MRS控制台为集群续费,以延长集群的使用时间。 在MRS管理控制台续费 登录MRS管理控制台。 在现有集群列表中单击需要续费的集群所在行的“操作”列的“续费”即可进行续费。 图1 续费MRS集群 统一包年/包月资源的到期日 如果您持有多个到期日不同的
Explorer中调试该接口。 URI DELETE /v1.1/{project_id}/job-executions/{job_execution_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制:
> 配置 > 全部配置”。在搜索框中输入“spark.dynamicAllocation.enabled”,将参数的值设置为“true”,表示开启动态资源调度功能。 父主题: 性能优化类
_*/install/FusionInsight-ClickHouse-*/clickhouse/bin/clickhouse 如下返回值表示CPU优先级特性已开启: /opt/Bigdata/FusionInsight_ClickHouse_*/install/FusionIn
当集群写入压力较大,不建议修改此配置。需要给常规Merge留出空闲线程,避免“Too manyparts parts”。 对于已存在的大表(数据量超亿级别),不要使用修改或新设置TTL的方式来实现数据老化能力,推荐使用定时任务“alter table table_name on