检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例”。查看任一部署Flume角色节点的“业务IP”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 将此节点上的用户认证文件,复制到安装Flume客户端的节点,保存到Flume客户端中
将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。
将hbase client的日志单独输出到指定日志文件,与业务日志分开,方便分析定位hbase的问题。 如果进程中已经有log4j的配置,需要将hbase-example\src\main\resources\log4j.properties中RFA与RFAS相关的配置复制到已有的log4j配置中。
将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。
文件输出 概述 “文件输出”算子,用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入:需要输出的字段 输出:文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况,填写字
MapReduce多组件调用样例 MapReduce服务 MRS Hive的HCatalog接口调用样例 10:40 Hive的HCatalog接口调用样例 MapReduce服务 MRS Hive的JDBC接口调用样例 12:57 Hive的JDBC接口调用样例 MapReduce服务 MRS HBase通用API使用样例
名称:用户自定义连接名称,例如“obslink”。 OBS终端节点、端口:配置为OBS实际的地址信息。 OBS类型:保持默认。 访问标识(AK)、密钥(SK):登录OBS的AK、SK信息。 图3 创建OBS连接 单击“保存”回到连接管理界面。 步骤4:创建迁移作业 在CDM集群管理界面,单击集群后的“作业管理”,选择“表/文件迁移
每个消息体(记录)之间的分隔符。 kafka_schema 否 如果解析格式需要一个schema时,此参数必填。 kafka_num_consumers 否 单个表的消费者数量。默认值是:1,如果一个消费者的吞吐量不足,则指定更多的消费者。消费者的总数不应该超过topic中分区的数量,因为每个分区只能分配一个消费者。
登录FusionInsight Manager界面,选择“运维 > 备份恢复 > 恢复管理”,在任务列表中对应任务的“操作”列,单击“查询历史”,在弹出的窗口中,在指定一次执行记录前单击,即可查看相关的快照名称信息: Snapshot [ snapshot name ] is
登录FusionInsight Manager界面,选择“运维 > 备份恢复 > 恢复管理”,在任务列表中对应任务的“操作”列,单击“查询历史”,在弹出的窗口中,在指定一次执行记录前单击,即可查看相关的快照名称信息: Snapshot [ snapshot name ] is
并且HDFS状态为“CORRUPT” 解决办法 请确认该损坏的块是否可以删除。 是,执行2。 否,请联系技术支持。 执行以下命令进入HDFS客户端。 cd HDFS客户端安装目录 source bigdata_env kinit 业务用户 执行以下命令删除之前记录的损坏的块。 hdfs dfs -rm -skipTrash
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高
应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍
将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时,有可能是Manager上的LdapServer数据损坏,也有可能是集群上的LdapServer数据损坏,此时数据损坏的Ldap
版本支持公告 MRS集群版本生命周期
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
生态组件对接 使用DBeaver访问Phoenix 使用DBeaver访问MRS HetuEngine 使用FineBI访问MRS HetuEngine 使用Tableau访问MRS HetuEngine 使用永洪BI访问MRS HetuEngine Hive对接外置自建关系型数据库
数据迁移 数据迁移方案介绍 数据迁移到MRS前信息收集 数据迁移到MRS前网络准备 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS
MRS集群管理 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩