检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写入失败的数据要做相应的处理 在写数据的过程中，如果进程异常或一些其它的短暂的异常，可能会导致一些写入操作失败。因此，对于操作的数据，需要将其记录下来。在集群恢复正常后，重新将其写入到HBase数据表中。 另外，有一点需要注意：HBase Client返回写入失败的数据，是不会
定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 导致本地磁盘的部分热数据会移动到OBS上，影响系统的读写性能。 可能原因 ClickHouseServer节点冷热分离配置的本地磁盘容量过小。
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。
Connector支持限流读 本章节适用于MRS 3.3.0及以后版本。 使用场景 使用FlinkSQL的Kafka、upsert-kafka Connector消费数据时需要限流。 使用方法 在创建的Source流表中添加“subtask.scan.records-per-second.li
产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果一直无法获取到新的临时委托凭据，会导致在当前使用的临时委托凭据过期后，系统无法访问OBS，对于配置冷热分离策略的表无法进行OBS冷数据读写等操作。 可能原因 ClickHouse配置的OBS参数错误。
通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前使用统一调用LoginUtil类进行安全认证。 在MapReduce样例工程的“com.huawei.bigdata.mapreduce.examples”包的“Fema
系统管理员可以通过Manager修改已创建的备份任务的配置参数，以适应业务需求的变化。不支持修改任何恢复任务配置参数，只能查看恢复任务的配置参数。 对系统的影响 修改备份任务后，新的参数在下一次执行任务时生效。 前提条件 已创建备份任务。 已根据业务实际需求，规划新的备份任务策略。 修改备份任务（MRS
zie作业无法提交问题 解决Hue界面执行含变量的Hive SQL时变量值下拉框无法使用的问题 解决Hue连接Hive服务查询时session没有正确关闭导致最终无法查询的问题 解决鲲鹏机型Impala查询Kudu表偶现查询卡顿的问题 解决Kudu组件客户端安装问题 解决鲲鹏机型KuduMaster偶现自动重启问题
通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception Timeout或者SocketTimeout Exception异常。 调优建议： 将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。
thrift.port”查看，默认值为“10000”。 username：参数值为实际使用的用户名，即准备MRS应用开发用户创建的用户名。 kerberos_service_name：参数值为实际连接的实例，以连接Hive为例，修改为：kerberos_service_name="hive"。
通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception Timeout或者SocketTimeout Exception异常。 调优建议： 将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。
thrift.port”查看，默认值为“10000”。 username：参数值为实际使用的用户名，即准备集群认证用户信息创建的用户名。 kerberos_service_name：参数值为实际连接的实例，以连接Hive为例，修改为：kerberos_service_name="hive"。
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
warn("Start Check Keytab TGT And Relogin Job Success."); } 对于Shell客户端方式执行的任务 先执行kinit命令认证用户。 通过操作系统定时任务或者其他定时任务方式定时执行kinit命令认证用户。 提交作业执行大数据任务。 对于Spark作业
在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka的客户端目录下获取。 下面列出producer和consumer主要逻辑代码作为演示。
创建Topic。 在服务端配置用户创建topic的权限。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”，如图1所示。配置完后重启Kafka服务。 图1 配置用户创建topic的权限 用户使用Linux命令行创建to
行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。
行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。
delete.count 25 JobServer每一批老化数据的条数。 job.record.expire.count 500000 JobServer老化数据的条数。 job.record.expire.day 7 JobServer作业过期的时间。 logging.level
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
