检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。 示例：对此规则或建议从正、反两个方面给出。
MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力
Spark on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On
解决办法 重新启动DBService服务。 启动完成之后在主DBServer节点执行netstat -anp | grep 20051命令检查是否绑定了dbservice.floatip。 父主题： 使用DBservice
Spark API方式执行的SQL独立起Spark作业，有一定的耗时，但是可以通过配置运行程序参数来指定作业所需要的资源等参数，建议批量导入等 作业使用API方式来指定资源运行，防止占用jdbc资源长时间阻塞其他任务。
选择“更多 > 重启服务”，单击“确定”重启Hive服务。
Flink 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > flink ”，勾选“读”、“写”和“执行”，单击“配置资源权限”表格中“服务”返回。
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成，由于初始化数据量通常较大，因此推荐使用API方式给充足资源来完成。
由此FileSystem实例获取写文件的各类资源。 将待写内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。
优先策略 当某个服务在获取所有可用资源后还无法满足最小资源的要求，则会发生优先抢占。抢占功能默认关闭。 父主题： 产品功能
单击“资源”，查看“Yarn”或者“HDFS 存储”状态，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。
tab where date <= xx; 交换两个表的名称： ALTER TABLE [db.]tbl1 REPLACE WITH TABLE tbl2 [PROPERTIES('swap' = 'true')]; 对于部分查询，可能执行时间比较长，查询比较耗费内存和CPU等资源
“租户资源”。
因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的partition中的数据量并不是很多，有一点资源浪费，而且此时处理的task越多，可能速度反而越慢。
您已经对弹性云服务器的使用方式和MapReduce服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 MRS应用开发流程说明 通常MRS应用开发流程如下图所示，各组件应用的开发编译操作可参考组件开发指南对应章节。
开启spark.shuffle.service.enabled=true，启动shuffle服务，提升任务shuffle的稳定性。
scaleInCluster 在您开启了云审计服务后，系统开始记录云服务资源的操作。
当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
HBase服务数据读写示例安全认证（多集群互信场景） 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时，管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。
登录弹性云服务器（SSH密钥方式） 本地使用Windows操作系统 如果您本地使用Windows操作系统登录Linux弹性云服务器，可以按照下面方式登录弹性云服务器。下面步骤以PuTTY为例。 登录MapReduce服务管理控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
