检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。 若不
场景说明 场景说明 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。
通过Hue管理HBase表 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。 如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装，用户
HDFS应用开发常用概念 DataNode 将文件切分成大小相同的块（称为“数据块”），存储在不同的DataNode上，并且周期性地向NameNode报告该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
使用SpringBoot生产消费Kafka集群数据 本章节适用于MRS 3.3.0及之后版本。 功能简介 通过SpringBoot实现对Kafka集群生产消费的功能。 代码样例 通过SpringBoot实现Kafka生产消费的样例代码如下： @RestController public
开启HetuEngine数据类型隐式转换 数据类型隐式转换指用户通过客户端访问HetuEngine资源时，当查询的数据类型和表的数据类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Wh
是，集群已绑定委托。 否，执行4.b。 单击“管理委托”，为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”，也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在M
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE
lipse开发环境，请参见导入并配置Storm样例工程。 下载并安装HDFS客户端，参见准备HDFS应用运行环境。 获取相关配置文件。获取方法如下。 在安装好的HDFS客户端目录下找到目录“/opt/client/HDFS/hadoop/etc/hadoop”，在该目录下获取到配置文件“core-site
bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。 停止作业：“stop”命令仅适用于Flink
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。 停止作业：“stop”命令仅适用于Flink
bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。 停止作业：“stop”命令仅适用于Flink
bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。 停止作业：“stop”命令仅适用于Flink
配置Spark读取HBase表数据 操作场景 Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager界面，选择“集群
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
的告警信息影响到服务的使用，其告警级别达到致命时，则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为，会导致大数据集群异常，当检测到用户的虚拟机出现以上状态的时候，发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1
配置Spark读取HBase表数据 Spark On HBase Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面，选择“集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
