检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
伸缩参数介绍见配置HetuEngine Worker节点数量章节。 - 是否开启维护实例 如果要启动物化视图的自动刷新能力，必须存在一个被设置为维护实例的计算实例，且全局唯一。存在多个计算实例时，仅有一个计算实例用作维护实例。 - 配置“自定义配置”参数。用户可以添加自定义参数到
一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上
SQL作业，作业类型选择“流作业”。在作业开发界面进行如下作业配置，并启动作业。需勾选“基础参数”中的“开启CheckPoint”，“时间间隔（ms）”可设置为“60000”，“模式”可使用默认值。 如果当前MRS集群为安全模式，执行以下操作： create table kafkasource(
一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上
使用ZooKeeper客户端 Zookeeper是一个开源的，高可靠的，分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以
Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。目前有两种方式可以采用如下两种方式修复： 现有集群节点安装补丁 扩容节点安装补丁 前提条件 从OBS路径中下载的补丁工具“MRS_Log4j_Patch
一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上
解决Kafka在kerberos认证失败之后自动重启存在异常的问题 解决Hudi和Spark目录下的Spring包不兼容的问题 解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题 解决老Guardian实例日志需要打印客户端IP的问题 解决MemArtsCC使用TPCDS测试套写10TB数据
快速开发Spark应用 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言的应用开发。 通常适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导，通过客户端实现创建表，往表中插入数据，修改表，读取表数据，删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序，用于管理
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息
ClickHouse SQL调优 规则 合理使用数据表的分区字段和索引字段。 MergeTree引擎，数据是以分区目录的形式进行组织存储的，在进行的数据查询时，使用分区可以有效跳过无用的数据文件，减少数据的读取。 MergeTree引擎会根据索引字段进行数据排序，并且根据inde
”表示开启多源表写入。 “--allow-continuous-when-multiple-sources”表示开启多源表持续写入，如果未设置所有源表写入一次后任务就会结束。 sourceCommon.properties ： hoodie.deltastreamer.ingestion
单个用户感观字符（这是语言书写系统的基本单位），但是函数会将每个代码点视为单独的单位。 lower和upper函数不执行某些语言所需的区域设置相关、上下文相关或一对多映射。 chr(n) → varchar 描述：返回Unicode编码值为n的字符值。 select chr(100);
r Load方式是在用户没有Spark计算资源的情况下使用，如果有Spark计算资源建议使用Spark Load。 用户需要通过MySQL协议创建Broker Load 导入，并通过查看导入命令检查导入结果。适用以下场景： 源数据在Broker可以访问的存储系统中，如HDFS。 数据量在几十到百GB级别。
调整集群节点 功能介绍 创建集群后，扩容/缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量，即不支持扩缩容Master节点。该接口不兼容Sahara。处于running状态的集群才允许扩容/缩容，其他状态则不允许扩容/缩容。 集群状态和集群ID可参考查询集群列表接口获取。
约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 不同作业的名称允许相同，但不建议设置相同。 默认取值： 不涉及 arguments 否 Array of strings 参数解释： 程序执行的关键参数，该参数由用户程序内的函数指定，MRS只负责参数的传入。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
