检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因只承载计算任务,因此可以进行弹性伸缩。 MRS购买集群方式支持自定义购买集群和快速购买集群两种。 自定义购买集群:自定义购买可以灵活地选择计费模式、配置项,针对不同的应用场景,可以选择不同规格的弹性云服务器,全方位贴合您的业务诉求。 快速购买集群:用户可以根据应用场景,快速购买
MRS服务在管理控制台上的操作日志,例如创建或删除MRS集群的日志记录,通过云审计服务(Cloud Trace Service,CTS)实现。CTS是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述操作,MRS会自动识别并直接删除发生变更的集群节点。您可以登录MRS管理控制台,通过扩容恢复已经删除的节点。请勿在扩容过程中对正在扩容的节点进行操作。 父主题: 节点管理类
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时,找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群,提交订单时,报无效认证如何处理?
数据迁移方案介绍 准备工作 元数据导出 数据拷贝 数据恢复 父主题: 数据迁移
集群后,不支持修改。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 若您选择“按需计费”时,可能因为冻结保证金失败或者账号可能存在风险导致下单失败,请联系技术支持处理。 单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,所
会被自动删除或退订。 对于按需收费模式集群,如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作,如果作业执行结束后不需要集群, 可以退订MRS集群。 集群退订后,资源和数据将会被删除并且无法找回,请务必确认完成
huaweicloud.com/)搜索并单击名称为“HuaweiCloud SDK”的版块,按照页面弹出的设置方法进行操作。 如果不想覆盖Maven配置文件,也可以参考以下方法手动修改“settings.xml”配置文件或者组件样例工程中的“pom.xml”文件,配置镜像仓地址。 配置方法一: 手动在“settings
隔离,用户可以在专属区内灵活地组合计算存储资源,包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。 主机安全 MRS支持与公有云安全服务集成,支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分,华为云提供如下安全措施:
配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,大数据业务部署更加省心省力。 消息通知 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。
本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具
MRS对开源版本进行了增强,可以监控各节点上的硬盘以及文件系统状态。如果出现异常,立即将相关分区移出存储池;如果硬盘恢复正常(通常是因为用户更换了新硬盘),也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作,更换故障硬盘可以在线完成;同时用户可以设置热备盘,从而极大缩减了故
用户通过“租用”需要的资源集合,来运行应用和作业,并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 MRS支持细粒度权限管理,结合华为云IAM服务提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方
MRS可以做什么? 问: MapReduce Service(MRS)可以做什么? 答: MapReduce服务(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数
V1.1 作业管理接口(废弃) 新增作业并执行(废弃) 查询作业exe对象列表(废弃) 查询作业exe对象详情(废弃) 删除作业执行对象(废弃) 父主题: 历史API
directory配置/home目录时,启动yarn-session失败的问题? 为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010,运行时会报错? 为什么新创建的Flink用户提交任务失败,报ZooKeeper文件目录权限不足?
如果当前的应用开发工程配置项中包含该配置项,则应用开发程序还需要引入Jar包“phoenix-core-5.0.0-HBase-2.0-hw-ei.jar”。此Jar包可以从HBase客户端安装目录下的“HBase/hbase/lib”获取。 如果不想引入该Jar包,请将应用开发工程的配置文件“hbase-site
NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理 为什么存储小文件过程中,缓存中的数据会丢失 当分级存储策略为
周边生态对接类 MRS是否支持对DLI服务的业务表进行读写操作? OBS是否支持ListObjectsV2协议? MRS集群内的节点中可以部署爬虫服务吗? MRS服务是否支持安全删除的能力? 如何使用PySpark连接MRS Spark? HBase同步数据到CSS为什么没有映射字段?