检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Memory Usage Exceeds The Threshold 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngi
参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Running Queries Delay 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例
HBase客户端一次写入、更新或删除的数据条数阈值,超过此阈值时会记录日志。 增大此参数的值。 hbase.client.scanner.warning.threshold.scanning.ratio HBase客户端单个Scan的Caching过大时(默认为最大值的40%),超过此阈值时会记录日志。
定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Cpu Usage Exceeds The Threshold 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngin
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导,sparkPi是最经典的Spark作业,它用来计算Pi(π)值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子,其中包含sparkPi。可以从https://archive
properties”文件开启executor的debug日志,提交测试任务,查看executor的日志并确认作业提交过程中的报错。 日志路径:/var/log/Bigdata/executor/logs/exe.log 如果当前任务在exeutor中出错,执行如下命令打印executor的jstack信息,确认线程当前执行状态。
过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全
所有表达式一次性最多匹配2000个主机。 高级配置 最大数量:一次性显示的最大日志条数,如果检索到的日志数量超过设定值,时间较早的将被忽略。不配表示不限制。 检索超时:用于限制每个节点上的最大检索时间,超时后会中止搜索,已经搜索到的结果仍会显示。 单击“检索”开始搜索,结果包含字段如表2所示。
conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。 开发思路 查询Hive person表的数据。 根据person表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。
Schedule”修改作业的名称。 单击“选择Workflow...”选择需要编排的Workflow。 选择好Workflow,根据界面提示设置作业执行的频率,如果执行的Workflow需要传递参数,可单击“+添加参数”设置参数,然后单击右上角的保存作业。 因时区转化的原因,此处时间有可
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 可用区信息 错误码 请参见错误码。 父主题: 可用区
精确一次语义:Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性,为某些特定的存储支持了事务型输出的功能,即使在发生故障的情况下,也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分,对于实时流处理应用来说,基于时间语义的窗口聚合、检
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响到Hive数据的读写,可能导致任务执行变慢,甚至服务异常重启。
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive直接内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。
HBase应用开发常用概念 过滤器 过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java
nger WebUI界面为MRS集群内的用户或用户组绑定LakeFormation角色,则绑定的用户或用户组拥有该角色的权限。 前提条件 已创建角色,并为该角色添加权限,具体操作请参考角色授权。 已完成MRS与LakeFormation实例的对接。 操作步骤 登录MRS管理控制台
文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配置方法。这种压缩格式增强了Hadoop压缩能力。有关Snappy的详细信息,请参阅http://code
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Task Failure Rate 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例任务失败率过高,会影响业务的正常运行,需及时排查问题并处理。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode非堆内存使用率过高,会影响HDFS的数据读写性能。