检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交的作业 图2 运行结果 通过执行hdfs dfs -ls hdfs://hacluster/flink/checkpoint/命令查看HDFS上的checkpoint的快照信息。 查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs
Path(otherArgs[1])); // 提交任务交到远程环境上执行。 System.exit(job.waitForCompletion(true) ? 0 : 1); } 样例4：类CollectionCombiner实现了在map端先合并map输出的数据，减少map和reduce之间传输的数据量。
Path(otherArgs[1])); // 提交任务交到远程环境上执行。 System.exit(job.waitForCompletion(true) ? 0 : 1); } 样例4：类CollectionCombiner实现了在map端先合并一下map输出的数据，减少map和reduce之间传输的数据量。
kerberosPrincipal kerberos认证时用户，在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab kerberos认证时keytab文件路径，在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。
如果多个源位置有相同名称的文件，则distcp命令会失败。 在不使用update和overwrite选项的情况下，如果被拷贝文件在目标位置中已经存在，则该文件会跳过。 在使用update选项的情况下，如果被拷贝文件在目标位置中已经存在，但文件内容不同，则目标位置的文件内容会被更新。 在使用overwrite选项的
kerberosPrincipal kerberos认证时用户，在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab kerberos认证时keytab文件路径，在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。
管理计算实例时，预先创建维护实例后，可通过设置need_auto_refresh为true，创建具备自动刷新能力的物化视图，它会自动创建并提交物化视图刷新任务，在此基础上，可对refresh_duration，start_refresh_ahead_of_expiry,refresh_priority等属性做进一步配置来调整自动刷新任务。
大值为100MB，归档在HDFS上的日志默认保留30天。 如果需要修改实例的运行日志或审计日志的单个文件最大值或者日志归档文件最大数目，请执行如下操作： 登录Manager。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。 在参数列表中查看日志级别的参数，搜索“logback
请在低业务负载时间段进行滚动重启操作。 在滚动重启Kafka服务时， 如果Kafka服务业务吞吐量很高（100MB/s以上的情况下），会出现Kafka服务滚动重启失败的情况。 在滚动重启HBase服务时候，如果原生界面上每个RegionServer上每秒的请求数超过10000，需要增大
成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。
提交的作业 图2 运行结果 通过执行hdfs dfs -ls hdfs://hacluster/flink/checkpoint/命令查看HDFS上的checkpoint的快照信息。 查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs
在集群外节点连接开启Kerberos认证的集群，HTTP在Kerberos数据库中无法找到相应的记录 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCE
namenode.max.objects”规定当前系统可生成的文件对象数，默认值为“0”表示不限制。 DataNode容量规格 在HDFS中，Block以副本的形式存储在DataNode中，默认副本数为“3”，对应参数为“dfs.replication”。 集群中所有DataNode角色实例保存的Block总数为：HDFS
partition数据，consumer端也会有负载均衡（consumer个数小于partitions数量时）。 consumer实际上是靠存储在zk中的临时节点来表明针对哪个topic的那个partition拥有读权限的。所在路径为：/consumers/consumer-gr
屏蔽设置”。 在“屏蔽设置”区域，选择指定的服务或模块。 单击待操作告警对应“操作”列的“屏蔽”，在弹出的对话框中单击“确定”，修改告警的屏蔽状态为“屏蔽”。 图3 屏蔽告警 可以在屏蔽列表上方筛选指定的告警。 如果需要取消屏蔽，可以单击指定告警后的“取消屏蔽”，在弹出的对话框中
占满的问题 解决Hive分区表增加字段时间长的问题 解决rand函数在0-1直接的随机数字串只能生成0.72左右的问题 解决Hive的WebHcat进程kill后，无法自拉起，无告警上报的问题 解决Kafka在kerberos认证失败之后自动重启存在异常的问题 解决Hudi和Sp
生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。
用户需要通过MySQL协议创建Broker Load 导入，并通过查看导入命令检查导入结果。适用以下场景： 源数据在Broker可以访问的存储系统中，如HDFS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据，默认支持导入CSV格式数据。 前提条件 已
编译并调测Flink应用 操作场景 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 操作步骤
Boolean 参数解释： 自定义自动化脚本是否只运行在主Master节点上。 约束限制： 不涉及 取值范围： true：自定义自动化脚本只运行在主Master节点上。 false：自定义自动化脚本可运行在所有Master节点上。 默认取值： false fail_action 是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
