检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源在宽限期内产生的费用,相关费用可登录管理控制台,选择页面上方的“费用 > 费用账单”,进入费用中心,单击“总览”,在“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
); List<AddJobsReqV11> listbodyAddJobs = new ArrayList<>(); listbodyAddJobs.add( new AddJobsReqV11()
数据存储在OBS和HDFS有什么区别? MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存储
功能,集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云,可直接登录管理控制台,访问MRS服务。如果用户没有登录管理控制台的账号,请先注册华为云。注册成功后,该账号可访问华为云的所有服务,包括MRS服务。 打开华为云网站。 单击“注册”,根据提示信息完成注册。
访问控制 审计安全 密码安全 数据安全 针对海量用户数据,提供如下措施保障客户数据的机密性、完整性和可用性。 容灾:MRS支持将数据备份到OBS(对象存储服务)中,支持跨区域的高可靠性。 备份:MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。
当源集群与目标集群处于不同Region时,用Distcp工具将源集群数据复制到OBS,借助OBS跨区域复制功能(请参见跨区域复制)将数据复制到对应目的集群所在Region的OBS,然后通过Distcp工具将OBS数据复制到目的集群的HDFS上。由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息,因此当前
必选参数,指定审计日志导出到OBS的文件系统名。 OBS路径 opt/omm/oms/auditLog 必选参数,指定审计日志导出到OBS的路径。 AK - 必选参数,用户的Access Key ID。 SK - 必选参数,用户的Secret Access Key。 审计日志在OBS的存储路径细
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高数据迁移和集成的效率,可参考Hadoop数据迁移到华为云MRS服务、HBase数据迁移到华为云MRS服务相关内容。 停止集群业务及相关服务 如果您的集群涉及到Kafka业务,请先停止所有向Kafka中生产数据的作
若存在自行挂载的数据盘,未能扩展磁盘分区和文件系统,请参考扩展数据盘的分区和文件系统(Linux)进行处理或联系华为云技术支持进行处理。 补丁下载地址 上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Comm
使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS
读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于MRS 3.x之前版本分析集群,如需为流式集群或混合集群更换磁盘,请联系华为云技术支持处理。 登录MRS Manager。 选择“主机管理”并单击需要更换磁盘的主机的“主机名称”,在“角色”列表中单击RegionServer,选择“更多
)MRS集群,针对Core、Task类型节点的磁盘存在硬件故障。 Kafka组件不支持更换磁盘,如果存储Kafka数据的节点故障,请联系华为云技术支持处理。 登录FusionInsight Manager。 选择“主机”并单击故障主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.0.3.1补丁说明
使用MRS Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务(MRS),可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件,专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark S
执行程序参数 输入“访问OBS的AK信息 访问OBS的SK信息 1 输入路径 输出路径”。 AK/SK请参考说明方式获取。 1为固定输入,用于指定作业执行时调用的程序函数。 输入路径可通过单击“OBS”进行选择输入路径。 输出路径请手动输入一个不存在的目录,例如obs://obs-demo-
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.1.0 运维通道补丁说明
get /thriftserver/active_thriftserver查看该目录下是否有注册的配置信息。 如果有注册的配置信息,联系华为云支持人员处理。 如果没有注册的配置信息,执行4 如果没有active_thriftserver目录,执行4。 登录Manager界面,查看
卸载补丁后操作 重新打开弹性伸缩功能 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
按需计费MRS集群资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账号被扣为负值时,系统将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 欠费后影响 当您的账号因按需MRS集群资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会立即停止服务,资源进