检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这个期间进入Kafka的所有数据均匀分配到各个任务，避免任务处理压力不均匀。 约束条件： 目前该功能只适用于Spark Streaming中的Direct方式，且执行结果与上一个batch时间处理结果没有依赖关系（即无state操作，如updatestatebykey）。对多条数
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=artifacts/heapdump 应用程序内存中需要保存大量数据，worker进程使用的内存大于2G，那么建议使用G1垃圾回收算法，可修改参数值为“-Xms2G -Xmx5G -XX:+UseG1GC”。
onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法，通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers
这个期间进入Kafka的所有数据均匀分配到各个任务，避免任务处理压力不均匀。 约束条件： 目前该功能只适用于Spark Streaming中的Direct方式，且执行结果与上一个batch时间处理结果没有依赖关系（即无state操作，如updatestatebykey）。对多条数
使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据“job id”查看已提交的工作流信息。 父主题： 使用Oozie客户端提交作业
shell 进入HBase命令行运行模式（也称为CLI客户端连接），如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计，仅支持全表统计。 获取HBase replication指标的命令
信息，就不会丢失在此节点上运行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数
服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。 更新客户端配置 方法一： 访问集群Manager，在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件？
选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到失败任务，查找并记录失败作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
是，处理完毕。 否，执行8。 收集故障信息 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”和Manager下的NodeAgent。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟，单击“下载”。
是，处理完毕。 否，执行11。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在，则手动添加该参数项。 表1 参数说明 参数 描述
shell 进入HBase命令行运行模式（也称为CLI客户端连接），如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计，仅支持全表统计。 获取HBase replication指标的命令
JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 代码认证 try { init(); login(); } catch (IOException e) { LOG
shell 进入HBase命令行运行模式（也称为CLI客户端连接），如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计，仅支持全表统计。 获取HBase replication指标的命令
使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据“job id”查看已提交的工作流信息。 父主题： 使用Oozie客户端提交作业
是，处理完毕。 否，执行8。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ZooKeeper”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
是，处理完毕。 否，执行7。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapServer”。 设置日志收集的主机，可选项，默认所有主机。 单击右上角的设置日志收集的“开始时间”和“结束时间”
kafka_auth_mode ClickHouse连接Kafka的认证方式，参数值选择UserPassword。 单击“保存”，在弹窗页面中单击“确定”，保存配置。单击“实例”，勾选ClickHouseServer实例，选择“更多 > 滚动重启实例”，重启ClickHouseServer实例。
sasl_kerberos_keytab 连接Kafka的认证文件，上传2的“clickhouse_to_kafka.keytab”文件。 单击“保存”，在弹窗页面中单击“确定”，保存配置。单击“实例”，勾选ClickHouseServer实例，选择“更多 > 滚动重启实例”，重启ClickHouseServer实例。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
