检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交wordcount作业。 在MRS控制台选择“作业管理”页签，单击“添加”，进入“添加作业”页面，具体请参见运行MapReduce作业。 图4 wordcount作业 作业类型选择“MapReduce”。 作业名称为“mr_01”。 执行程序路径配置为OBS上存放程序的地址。例如：o
通常MRS应用开发流程如下图所示，各组件应用的开发编译操作可参考组件开发指南对应章节。 图1 MRS应用开发流程 表1 MRS应用开发流程说明 阶段 说明 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用IntelliJ IDEA工具，同时本地需完成JDK、Maven等初始配置。 准备连接集群配置文件
2.x及之前版本： 在MRS Manager，单击“系统设置”。 在“权限配置”区域，单击“用户组管理”。 在组列表上方，单击“添加用户组”。 填写“组名”和“描述”。 “组名”为必选参数，字符长度为3到20，可以包含数字、字母和下划线。“描述”为可选参数。 在“角色”，单击“选择添加角色”选择指定的角色并添加。
CarbonData作为Spark内部数据源运行，不需要额外启动集群节点中的其他进程，CarbonData Engine在Spark Executor进程之中运行。 图2 CarbonData结构 存储在CarbonData Table中的数据被分成一些CarbonData数据文件，每一次数据查询时，CarbonData
1、命令行方式提交，这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。
1、命令行方式提交，这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在Eclipse中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试
1、命令行方式提交，这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试
创建集群时，弹性伸缩功能可以通过在高级配置参数中进行配置。 仅分析集群、流式集群和混合集群支持创建集群时配置弹性伸缩策略。 登录MRS管理控制台。 在购买包含有Task类型节点组件的集群时，参考自定义购买MRS集群配置集群软件配置和硬件配置信息后，在“高级配置”页签的弹性伸缩栏，打
0”。 图1 Doris租户模型 用户与租户关联后，该用户提交的query任务就与Workload Group相关联，可以限制单个查询在BE节点上的CPU和内存资源的百分比，和配置资源组的内存软隔离。 开启内存软隔离后，当集群资源紧张时，将自动结束组内占用内存最大的若干个查询任务
况，并及时收到异常告警做出反应，保证业务顺畅运行。 - 裸金属服务器（Bare Metal Server） 裸金属服务为MRS提供专属的云上物理服务器，提供优秀的计算性能以及数据安全。 MRS所使用的裸金属服务器规格 表2 云审计支持的MRS操作列表 操作名称 资源类型 事件名称
准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1
Manager，选择“集群 > 待操作集群的名称 > 服务 > Oozie ”，单击“oozie WebUI”后的超链接进入Oozie页面，在Oozie的WebUI上查看任务运行结果。 图1 任务运行结果 父主题： 使用Oozie客户端提交作业
MRS集群中默认安装了一个客户端用于作业提交，也可直接使用该客户端。MRS 3.x及之后版本客户端默认安装路径为Master节点上的“/opt/Bigdata/client”，MRS 3.x之前版本为Master节点上的“/opt/client”。 使用MRS集群客户端安装用户登录客户端所在的节点。 执行以下命令初始化环境变量。
应。 如果在某次提交（commit）之前，数据传输出现了失败，将会再次开始上一次Transactions，并将上次发送失败的数据重新传输。因为commit操作已经将Transactions写入了磁盘，那么在进程故障退出并恢复业务之后，仍然可以继续上次的Transactions。 父主题：
安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看项目ID。通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域（Region）
准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1
Job被运行，而对应偏移量的数据在Kafka中已准备好。这些偏移量信息也被可靠地存储在checkpoint文件中，应用失败重启时可以直接读取偏移量信息。 图1 Direct Kafka接口数据传输 需要注意的是，Spark Streaming可以在失败后重新从Kafka中读取并处
Manager，选择“集群 > 待操作集群的名称 > 服务 > Oozie ”，单击“oozie WebUI”后的超链接进入Oozie页面，在Oozie的WebUI上查看任务运行结果。 图1 任务运行结果 父主题： 使用Oozie客户端提交作业
应用的开发编译操作可参考组件开发指南对应章节。 图1 MRS组件应用开发流程 表1 MRS组件应用开发流程说明 阶段 说明 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用IntelliJ IDEA工具，同时本地需完成JDK、Maven等初始配置。 准备连接集群配置文件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
