检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当HDFS磁盘使用100%之后，可通过降低“dfs.datanode.du.reserved.percentage”百分比来恢复业务，再进行磁盘扩容。 处理步骤 登录集群任意Master节点。 执行source /opt/client/bigdata_env命令，初始化环境变量。 如果是安全集群，则需要执行kinit
“作业分组”：Loader的作业分组操作权限。用户可以在指定作业分组下设置具体作业的操作权限，包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”：Loader的作业调度权限。 表1 设置Loader角色 任务场景 角色授权操作 设置Loader管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
情况。系统对于重要业务的操作需要记录日志。通过日志文件来定位异常。 定期检查日志 定期查看系统日志，若发现有非法操作、非法登录用户等异常情况，应根据异常情况进行相应的处理。 定期备份日志 Manager和集群提供的审计日志记录了用户活动信息和操作信息，可通过Manager导出审计
配置Flume加密传输数据采集任务 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume
配置作业消息通知 云审计服务（Cloud Trace Service） 云审计服务（CTS）为用户提供MRS资源操作请求及请求结果的操作记录，供用户查询、审计和回溯使用。 云审计支持的MRS操作列表 云硬盘（Elastic Volume Service） 云硬盘可以为MRS使用的弹性云服务器提
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。
单击“创建迁移任务”。 在创建迁移任务界面，填写迁移任务的相关参数，具体参考如下表1。 表1 迁移任务参数说明 参数名 参数取值说明 任务名称 填写具体的任务名称。可由字母、数组及下划线组成，长度为1~50位，且不能与已有的迁移任务相同。 任务类型 定时任务：选择定时任务时，可以设置
V1.1 作业管理接口（废弃） 新增作业并执行（废弃） 查询作业exe对象列表（废弃） 查询作业exe对象详情（废弃） 删除作业执行对象（废弃） 父主题： 历史API
告警清除，操作结束。 告警没有清除，重复执行5~6三次。重复执行次数达到上限，执行8。 观察一段时间，检查告警是否清除。 是，操作结束。 否，执行9。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF
cron.expression HDFS 磁盘均衡操作的CRON表达式，用于控制均衡操作的开始时间。仅当dfs.disk.balancer.auto.enabled设置为true时才有效。默认值“0 1 * * 6”表示在每周六的1点执行任务。表达式的具体含义可参见表2。 0 1 * *
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
作业管理 MRS作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异，具体操作详情以实际版本对应的操作指导为准。 CDM服务支持
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题： 使用Flink
Rest接口应用开发示例。 使用Rest接口实现查询HBase集群信息、获取表、操作NameSpace、操作表等功能。 hbase-thrift-example 访问HBase ThriftServer应用开发示例。 访问ThriftServer操作表、向表中写数据、从表中读数据。 hbase-zk-example
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
