检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。 若不开启通信安全授权，MRS将无法创建集群。 勾选“确认授权” 图1 创建HBase查询集群
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”。例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”，授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
具调试业务进程，可能造成进程中敏感信息泄露。但是此类攻击需要攻击者拿到集群节点的Shell权限后才可以执行，MRS集群部署在VPC内，有安全组控制访问，故不将MRS集群暴露给不可信网络即可消解该风险。 父主题： 安全
V2接口功能更强大、操作更便捷，在接口功能相同的情况下，推荐您优先使用V2接口。 商用 创建集群 2 支持多种异构虚拟机规格 MRS集群支持x86/ARM混合部署，支持弹性云服务器（ECS）和裸金属服务器（BMS）混合部署 。 商用 自定义购买集群 2020年8月 序号 功能名称 功能描述 阶段 相关文档
能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证（基于安全要求，建议启用此功能）。 true表示启用。 false表示不启用。 true keystore
开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 您已经对Java语法具备一定的认识。
包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。 您已经对弹性云服务器的使用方式和MapReduce服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 MRS应用开发流程说明
单击目标节点组，在展开的节点名称列中单击任一节点，跳转到云服务基本信息控制台。 图1 节点管理 在云服务器详情页面中，选择“基本信息”页签，进入云服务器基本信息页面后，在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明：镜像中显示的EulerOS_2.1
也可直接使用Master节点中自带的集群客户端，安装目录为“/opt/Bigdata/client”。 为主Master节点绑定一个弹性IP并在安全组中放通22端口，具体请参考配置集群安全组规则，然后使用root用户登录主Master节点，进入客户端所在目录并加载变量。 cd /opt/client source
开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。
通过telnet命令，查看是否可以连接Kafka。 telnet Kafka业务IP Kafka业务port 如果无法telnet成功，请检查网络安全组与ACL。 通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
SQL防御规则添加针对ClickHouse的SQL防御规则。 ClickHouse SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0008”，SQL语句执行ClickHouse集群级别的表更新操作就进行“提示”的规则。 图1
否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行4。 MRS 3.3.1及之后版本： 根据实际情况配置“选择下载位置”参数。 服务器端：下载到当前集群的主OMS节点上。 浏览器：下载到本地电脑。 远端节点：下载到主OMS节点外的其他节点上。 根据界面提示配置“保存到如下
配置HetuEngine SQL防御使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。 熔断规则由系统Session级别参数控制，配置熔断规则需要业务用户具有set session的权限。 静态规则static_0003中查询总的Join个数不包含Semi
配置Spark SQL防御规则 登录FusionInsight Manager，选择“集群 > SQL防御”，打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Spark的SQL防御规则。 Spark SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条
集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组（默认共用克隆集群的）、节点组配置、Kerberos认证、主机名前缀、标签、委托（集群节点默认绑定的委托名称）、日志转储、日志记录 默认克隆
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”，“委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务。 “持续时间”选择“永久”并单击“完成”。 图2 创建委托 在创建的委托的“操作”列单击“授权”，搜索“OBS
时，可能会影响其他业务，建议在业务空闲期进行数据迁移任务。 步骤1：新建数据连接 登录CDM管理控制台。 创建CDM集群，该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致，保证CDM集群和MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。
求，您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用（弹性云服务器，云硬盘）组成。如需了解每种计费项的计费因子、计费公式等详细信息，请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程，请参见计费样例。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
