检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。 解决AZ下缩容DataNode,副本未按照预期AZ策略补齐,导致退服失败的问题。 解决Flink在mysql数据库insert timestamp类型数据,数据通过Flink写入Hudi后和原数据差8小时的问题。
升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.2.0-LTS.1.10补丁说明
jars的存档,用于分发到YARN缓存。如果设置,此配置值将替换<code> spark.yarn.jars </ code>,并存档在所有应用程序的容器中使用。存档应包含其根目录中的jar文件。与以前的选项一样,存档也可以在HDFS上托管,用来加快文件分发速度。 hdfs://
jars的存档,用于分发到YARN缓存。如果设置,此配置值将替换<code> spark.yarn.jars </ code>,并存档在所有应用程序的容器中使用。存档应包含其根目录中的jar文件。与以前的选项一样,存档也可以在HDFS上托管,用来加快文件分发速度。 hdfs://
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务
启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 创建HetuEngine计算实例。 创建计算实例并确保运行正常,可参考创建HetuEngine计算实例。 步骤二:获取JDBC jar包
Flink等大数据组件,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。 维护策略声明 MRS集群资源归属于用户,MRS提供基于该资源的半托管云服务能力,用户拥有对集群的完全控制权,默认情况下,云服务无权限对客户集群进行
position和field代表对某一列做maxBy操作。 def maxBy(field: String): DataStream[T] 数据流分发能力 表5 数据流分发能力的相关接口 API 说明 def partitionCustom[K: TypeInformation](partitioner:
API 通过MRS开放的丰富API和调用示例,您可以使用并管理集群、作业等。 API文档 API概览 如何调用API 创建集群并执行作业 策略及授权项说明 07 大数据组件的应用开发指导 通过参考MRS提供的开发指南操作指导及样例工程,您可以开发并运行调测自己的应用程序。 开发指南
Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启
ala、Flink、HetuEngine、CDL、Doris、JobGateway及HetuEngine计算实例 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启
在MRS管理控制台提交Flink作业 04:02 在MRS管理控制台提交Flink作业 MapReduce服务 MRS 配置MRS集群Ranger权限策略 03:39 配置MRS集群Ranger权限策略 MapReduce服务 MRS MRS集群扩缩容节点 04:16 MRS集群扩缩容节点 MapReduce服务 MRS
DFS目录权限就能做相应的操作。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略章节。 父主题: Hive开发指南(安全模式)
“持续时间”选择“永久”并单击“完成”。 图2 创建委托 在委托的“操作”列单击“授权”,搜索“OBS OperateAccess”策略,勾选“OBS OperateAccess”策略。 单击“下一步”,选择权限范围方案,默认选择“所有资源”,单击“展开其他方案”,选择“全局服务资源”,单击“确定”。
position和field代表对某一列做maxBy操作。 def maxBy(field: String): DataStream[T] 数据流分发能力 表5 数据流分发能力的相关接口 API 说明 def partitionCustom[K: TypeInformation](partitioner:
position和field代表对某一列做maxBy操作。 def maxBy(field: String): DataStream[T] 数据流分发能力 表5 数据流分发能力的相关接口 API 说明 def partitionCustom[K: TypeInformation](partitioner:
position和field代表对某一列做maxBy操作。 def maxBy(field: String): DataStream[T] 数据流分发能力 表5 数据流分发能力的相关接口 API 说明 def partitionCustom[K: TypeInformation](partitioner:
产生告警的角色名称 表名 产生告警的库名.表名 对系统的影响 ClickHouse中表存在数据倾斜,可能导致sql执行效率低。 可能原因 数据写入策略不合理,导致各节点之间数据不均衡。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当
control.maxconnections”,调大该配置项的数值。设该配置项的值为A,阈值为B,连接到HiveServer的session数为C,调整策略为A x B > C ,连接到HiveServer的session数可在Hive的监控界面查看监控指标“HiveServer的session数统计”。
框中输入参数名称“mapreduce.job.am.memory.policy”。 配置说明: 配置项的默认值为空,此时不会启动自动调整的策略,ApplicationMaster的内存仍受“yarn.app.mapreduce.am.resource.mb”配置项的影响。 配置参