检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight
eb UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web
eb UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web
0.1补丁期间会重启MRS Manager和Hive服务，重启服务期间会引起服务暂时不可用。 MRS 2.1.0.1补丁安装完成后，需要先登录到MRS集群的Master1节点，删除HDFS上任务目录。 未开启Kerberos认证的集群，执行如下命令删除HDFS上任务目录。 hdfs
对系统的影响 MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 可能原因 MonitorServer证书文件非法或损坏。 处理步骤 查看告警信息。 登录FusionInsight Manager首页，选择“运维 > 告警 > 告警
examples.DstreamKafkaWriter： Spark版本升级后，推荐使用新接口createDirectStream，老接口createStream仍然存在，但是性能和稳定性差，建议不要使用老接口开发应用程序。 该样例代码只存在于mrs-sample-project-1
Hudi支持跨分区进行数据更新，但Global索引性能较差一般不建议使用。 建议 事实表采用日期分区表，维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点： 事实表：数据总量大，增量大，数据读取多以日期做切分，读取一定时间段的数据。
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
私有属性功能开关，用于支持用户（集群中所有业务用户）设置或取消自己的私有（Independent）属性。 开启私有属性开关后，需要业务用户登录后设置Independent属性，完成用户私有属性配置。 本章节仅适用于MRS 3.x及之后版本。 配置MRS集群用户私有属性限制约束 管
MRS管理控制台和集群Manager页面功能区别有哪些？ 问： MRS管理控制台和集群Manager页面有什么区别与联系？ 答： 用户可以通过MRS管理控制台页面登录到MRS的Manager页面。 Manager分为MRS Manager和FusionInsight Manager，其中： MRS 2.
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id），所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题： 附录
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
Kafka集群中Broker节点异常。 处理步骤 检查KrbServer组件状态。未启用Kerberos认证的集群无需检查Kerberos状态，请直接执行2。 登录MRS集群详情页面，选择“组件管理”。 查看KrbServer服务的健康状态是否为“良好”。 是，执行2.a。 否，执行1.c。 参考ALM-25500
ZooKeeper服务异常。 HDFS服务故障。 Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面，选择“告警管理”。 在告警列表中，查看是否存在以下告警： ALM-25500 KrbServer服务不可用 ALM-25000
ZooKeeper服务异常。 HDFS服务故障。 Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面，选择“告警管理”。 在告警列表中，查看是否存在以下告警： ALM-25500 KrbServer服务不可用 ALM-25000
ronment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。 页面入口：请参考登录MRS Manager登录MRS Manager页面，选择“服务管理 > Yarn”，单击“ResourceManager Web UI”对应的“Res
由于clean和archivelog对资源要求较小，为避免资源浪费，使用DataArts调度的话可以compaction作为一个任务，clean、archive作为一个任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
可能导致任务堆积，无法及时处理。 可能原因 集群运算能力低于任务提交速率，导致任务提交后无法及时运行处理。 处理步骤 检查Yarn页面的内存和vcore使用情况。 查看Yarn原生页面的Memory Used|Memory Total和VCores Used|VCores Total，看是否已经到达或者接近最大值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
