检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户未给Master节点绑定弹性公网IP,造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”,选中当前安装出问题的集群并单击集群名称,进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 选择“弹性公网IP
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”需选择为“
分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。 流式集群:用来做流处理任务,提供的是流式处理组件。 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。 自定义:全量自定义组件组合的MRS集群,MRS 3.x及之后版本支持此类型。
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题: 组件介绍
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题: 使用Oozie
x及以前版本) 告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
部企业项目。 单击“确定”,完成日志流的创建。 在日志流页面中,可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。 主机接入。 在云日志服务管理控制台,选择“接入 > 接入中心”。 在“全部分类”页签单击“云主机ECS”。
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强 Spark Core性能调优 Spark SQL性能调优 Spark Streaming性能调优
配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强 Spark Core性能调优 Spark SQL性能调优 Spark Streaming性能调优
使用Loader导入数据至MRS集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase 使用Loader从关系型数据库导入数据到HDFS/OBS
数据导入 概述 使用Loader导入数据 典型场景:从SFTP服务器导入数据到HDFS/OBS 典型场景:从SFTP服务器导入数据到HBase 典型场景:从SFTP服务器导入数据到Hive 典型场景:从FTP服务器导入数据到HBase 典型场景:从关系型数据库导入数据到HDFS/OBS
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库
使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库 使用Loader从HDFS导出数据到MOTService
HBase节点以及ZooKeeper节点配置EIP,并且在本地Windows的hosts文件添加所有节点的公网IP对应主机域名的映射关系,例如: 如果使用的是Windows云服务器,并且与集群的网络是通的,则无需配置EIP。 登录FusionInsight Manager,选择“集群
Task节点的实例规格,例如:{ECS_FLAVOR_NAME}.linux.bigdata,{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参
建议系统管理员对账户例行检查,检查的内容包括: 操作系统、Manager以及各组件的账户是否有必要,临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。
在MRS控制台,选择“现有集群”,单击Doris集群名称,进入集群详情页面。 在集群详情的“概览”页签,单击“IAM用户同步”右侧的“同步”,进行IAM用户同步。 单击委托右侧的“管理委托”选择创建的委托名称,例如:mrs_ecs_obs,单击“确定”进行绑定。 创建普通账号委托并绑定集群 登录MRS云服务管理控制台。