检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决相同AZ下,扩容的节点返回的AZ有误问题 解决[YARN-10854]问题 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化 优化删除分区的逻辑 Yarn的refresh node速度优化 删除无效告警
写入操作配置 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
给指定集群添加标签 功能介绍 为特定的集群添加一个tag。 一个集群上最多有20个标签,此接口为幂等接口。添加标签时,如果创建的标签已经存在(key相同),则覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clust
Group资源软限制的方案实现的,通过“用户 > 租户角色 > Workload Group”模型对Workload进行分组管理,以保证内存和CPU资源的灵活调配和管控。目前支持CPU、内存、并发数和等待队列管理,模型设计如图1所示。 该特性仅MRS 3.3.1及之后版本支持。 仅集群已启用Kerberos
查看当前Ranger已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体操作请参考添加Ranger权限策略。 Audit 查看Ranger运行及权限管控相关审计日志信息,具体操作请参考查看Ranger审计信息。 Security Zone 配置安全区域,Ranger管理员可将各组件的资源切分
批量添加集群标签 功能介绍 为指定集群批量添加标签。 一个集群上最多有20个标签。 此接口为幂等接口: 创建时,同一个集群不允许重复key,如果数据库存在就覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/cluste
查看当前Ranger已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体操作请参考添加Ranger权限策略。 Audit 查看Ranger运行及权限管控相关审计日志信息,具体操作请参考查看Ranger审计信息。 Security Zone 配置安全区域,Ranger管理员可将各组件的资源切分
Spark输出 概述 “Spark输出”算子,用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入:需要输出的字段 输出:SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储
Hive输出 概述 “Hive输出”算子,用于配置已生成的字段输出到Hive表的列。 输入与输出 输入:需要输出的字段 输出:Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。
Spark输出 概述 “Spark输出”算子,用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入:需要输出的字段 输出:SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储
Hive输出 概述 “Hive输出”算子,用于配置已生成的字段输出到Hive表的列。 输入与输出 输入:需要输出的字段 输出:Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。
FlinkSQL支持MultiJoin算子 本章节适用于MRS 3.5.0及以后版本。 当使用Flink的Full outer Join算子实现宽表拼接功能时,由于状态会被多次重复存储导致状态后端压力大,计算性能差。使用MultiJoin算子进行宽表拼接计算性能可以提升1倍。 F
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(applicat
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业(applica
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(applicat
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(applicat
Flink常见SQL语法说明 SELECT与WHERE语句 根据where子句对数据进行过滤。 语法: SELECT select_list FROM table_expression [ WHERE boolean_expression ] 示例: SELECT price +
参数解释: core节点管控分离限制,管控分离模板下core节点的限制,包括节点数,磁盘等限制。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 core_combine NodeConstraint object 参数解释: core节点管控合设限制,管控合设模板下core节点的限制,包括节点数,磁盘等限制。
更换HA证书 HA证书用于主备进程与高可用进程的通信过程中加密数据,实现安全通信。该任务指导用户为Manager完成主备管理节点的HA证书替换工作,以确保产品安全使用。适用于以下场景: 首次安装好集群以后,需要更换企业证书。 企业证书有效时间已过期或安全性加强,需要更换为新的证书。
FlinkSQL Elasticsearch表开发建议 FlinkSQL Elasticsearch作业,参数配置如下: 表1 Flink作业With属性 参数 是否必选 数据类型 描述 connector 必选 String 指定要使用的连接器,如elasticsearch-7,即连接到Elasticsearch