检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Storm的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Storm的日志格式如下所示：
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Broker进程的垃圾回收时间过长，可能影响该Broker进程正常提供服务。
大内存的90%）时，产生该告警。当IoTDBServer直接内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45588 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager进程的垃圾回收时间过长，可能影响该
最大内存的95%）时产生该告警。 堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
> 待操作集群的名称 > 服务 > Loader > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制”，勾选“内存”中的“Loader直接内存使用率统计”，单击“确定”。 图1 Loader直接内存使用率统计 查看Loader使用的直接内存是否已
ts组成的有向无环图。 应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount包的“Wor
告警”，单击告警“ZooKeeper堆内存使用率超过阈值”所在行的下拉菜单，在定位信息中确认告警上报的主机名所在的节点IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”，单击对应IP地址的“角色”列的“quorumpeer”。单击图表区域右上角的下拉菜单，选择“定制
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive数据仓库空间写满后系统将无法正常写入数据，可能导致部分数据丢失。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Storm Nimbus堆内存使用率过高
JobHistoryServer堆内存使用率小于或等于阈值的95%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition
下载”。 在“服务”框中勾选待操作集群的“Guardian”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。
hash.field：进行分桶时计算Hash值的字段，必须为主键的子集，默认为Hudi表的主键。该参数不填则默认为recordkey.field。 MRS 3.2.1及以后版本对于同一张Hudi表，可以被Flink、Spark引擎的bucket索引交叉混写。 作业1：FlinkSQL流式写入MOR表。
ts组成的有向无环图。 应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount包的“Wor
1、打包成Jar包，然后在客户端命令行上面进行提交 * 2、远程提交的时候，要先将该应用程序和其他外部依赖(非example工程提供，用户自己程序依赖)的jar包打包成一个大的jar包 * 3、再通过storm客户端中storm -jar的命令进行提交 * *
POPULATE 字段的表为内嵌表，在创建视图的时候初始化视图数据，缺点是初始化视图数据期间，新插入的数据被忽略；不含POPULATE 字段的表为聚合表，新插入的数据直接插入到视图表和支持表中，而之前的数据通过手动加载的方式插入视图和支持表。聚合表和内嵌表的建表操作需分别处理。 执行如下操作处理退服节点的物化视图：
为各个分区的数据量是会有波动的，分区下桶的个数设计一般会按照最大分区数据量计算，这样会出现越细粒度的分区，桶的个数会冗余越多。例如： 采用天级分区，平均的日增数据量是3GB，最多一天的日志是8GB，这个会采用Bucket桶数= 8GB/2GB = 4 来创建表；每天的更新数据占比
Int)相同，会将数据通过Shuffle的方式重新分区；当shuffle为false的时候，则只是简单的将父RDD的多个partition合并到同一个task进行计算，shuffle为false时，如果numPartitions大于父RDD的切片数，那么分区不会重新调整。 遇到下列场景，可选择使用coalesce算子：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
