检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
200 大于等于0 由于HDFS多路读功能在磁盘IO负载高的情况下可能导致性能劣化,在此场景下,HBase侧需要参考操作步骤关闭HDFS多路读功能。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HBase> 配置 > 全部配置”进入HBase全部配置页面。
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题: 使用ClickHouse
“作业分组”:Loader的作业分组操作权限。用户可以在指定作业分组下设置具体作业的操作权限,包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”:Loader的作业调度权限。 表1 设置Loader角色 任务场景 角色授权操作 设置Loader管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
情况。系统对于重要业务的操作需要记录日志。通过日志文件来定位异常。 定期检查日志 定期查看系统日志,若发现有非法操作、非法登录用户等异常情况,应根据异常情况进行相应的处理。 定期备份日志 Manager和集群提供的审计日志记录了用户活动信息和操作信息,可通过Manager导出审计
单击“创建迁移任务”。 在创建迁移任务界面,填写迁移任务的相关参数,具体参考如下表1。 表1 迁移任务参数说明 参数名 参数取值说明 任务名称 填写具体的任务名称。可由字母、数组及下划线组成,长度为1~50位,且不能与已有的迁移任务相同。 任务类型 定时任务:选择定时任务时,可以设置
配置作业消息通知 云审计服务(Cloud Trace Service) 云审计服务(CTS)为用户提供MRS资源操作请求及请求结果的操作记录,供用户查询、审计和回溯使用。 云审计支持的MRS操作列表 云硬盘(Elastic Volume Service) 云硬盘可以为MRS使用的弹性云服务器提
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。
配置Flume加密传输数据采集任务 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
告警清除,操作结束。 告警没有清除,重复执行5~6三次。重复执行次数达到上限,执行8。 观察一段时间,检查告警是否清除。 是,操作结束。 否,执行9。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF
cron.expression HDFS 磁盘均衡操作的CRON表达式,用于控制均衡操作的开始时间。仅当dfs.disk.balancer.auto.enabled设置为true时才有效。默认值“0 1 * * 6”表示在每周六的1点执行任务。表达式的具体含义可参见表2。 0 1 * *
作业管理 MRS作业管理为用户提供向集群提交作业的入口,支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
Rest接口应用开发示例。 使用Rest接口实现查询HBase集群信息、获取表、操作NameSpace、操作表等功能。 hbase-thrift-example 访问HBase ThriftServer应用开发示例。 访问ThriftServer操作表、向表中写数据、从表中读数据。 hbase-zk-example
别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具体操作详情以实际版本对应的操作指导为准。 CDM服务支持