检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
expression HDFS执行自动数据迁移的CRON表达式，用于控制数据迁移操作的开始时间。仅当dfs.mover.auto.enable设置为true时才有效。默认值“0 * * * *”表示在每个整点执行任务。表达式的具体含义可参见表2。 0 * * * * dfs.mover.auto
间超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > ResourceManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制
无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤 查看元数据是否配置周期备份。 在FusionInsight Manager管理界面，选择“运维 > 告警 > 告警”。 在告警列表中单击该告警的，从“附加信息”中获取产生告警的数据模块。 选择“运维 > 备份恢复
磁盘小文件过多。 登录MRS集群详情页面，选择“告警管理”。 在实时告警列表中，单击此告警。在“告警详情”区域，获取告警所在主机地址和磁盘分区。 使用PuTTY工具，以root用户登录告警所在主机。 执行命令df -i 分区名称，查看磁盘当前Inode使用率。 若Inode使用率超过阈值，手工
-R命令，检查是否所有文件的所有者均是运行Flume Agent的用户。 是，执行3。 否，使用chown命令修改文件属主为运行Flume Agent的用户，执行2.d 查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行3。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。
运行Jar包。 sh run.sh 查看Linux调测结果 HBase应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口
e或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。 缩容校验策略
New Policy”，新增访问控制策略。 参考表2配置参数，未在表中列出的参数请保持默认值。 表2 参数说明 参数 说明 示例值 Policy Name 策略名称。 Policy002 HBase Table 该策略允许访问的HBase表名称。 test1 HBase Column-family
= input.getString(0); String[] words = sentence.split(" "); for (String word : words) { word = word.trim();
0”-“X”，（“X”为密码有效期的一半，向下取整）。“0”表示不提醒。默认值为“5”。 认证失败次数重置时间间隔（分钟） 5 密码输入错误次数保留的时间间隔，取值范围为0～1440。“0”表示永远有效，“1440”表示1天。 单击“确定”保存配置。 系统新建用户默认使用defa
Guardian提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN
支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka PID>命令，查看当前单节点上Kafka进程打开的文件句柄（会继续增加）； 权衡当前需要创建的Topic创建完成后，
计费项 购买MRS集群的费用包含两个部分： MRS服务管理费用 您可以在“费用中心 > 账单管理 > 费用账单”里筛选如下内容查看费用详情。 图1 查看MRS服务管理费用 如果集群版本类型为“LTS版”：按“MRS-LTS服务费用”进行筛选。 如果集群版本类型为“普通版”： 20
务运行成功。 原因分析 出错的集群有两个HiveServer实例，首先查看其中一个HiveServer日志发现里面的报错与客户端中的错误一样均是Error:Invalid OperationHandler，查看另一个HiveServer发现在出错的时间段此实例有如下类似START
支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka PID>命令，查看当前单节点上Kafka进程打开的文件句柄（会继续增加）； 权衡当前需要创建的Topic创建完成后，
Streaming任务，确认有数据输入后，发现没有任何处理的结果。打开Web界面查看Spark Job执行情况，发现如下图所示：有两个Job一直在等待运行，但一直无法成功运行。 图1 Active Jobs 继续查看已经完成的Job，发现也只有两个，说明Spark Streaming都没有触发数据计算的任务（Spark
luster1的userA没有访问本集群HBase meta表权限，但是cluster2的userA有访问该集群HBase meta表权限，则cluster1的userA可以访问cluster2的HBase meta表。 跨Manager之间的安全集群间组件互相访问，需要先配置系统互信。
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
在“脏数据目录”填写一个脏数据的保存位置，例如“/user/sqoop/obs2hdfs-dd”。 单击“保存并运行”。 在“管理作业界面”，查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题： 使用Loader
Hudi写操作 批量写入Hudi表 流式写入Hudi表 将Hudi表数据同步到Hive 父主题： 使用Hudi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
