正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装补丁前必读 补丁基本信息 MRS 3.2.0-LTS.1.8补丁基本信息及解决问题列表请参考补丁基本信息。 安装补丁前提条件 集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各
安装补丁前必读 补丁基本信息 MRS 3.3.1-LTS.1.1补丁基本信息及解决问题列表请参考补丁基本信息说明。 安装补丁前提条件 集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群
a SQL中使用substr(),substring(),strleft()等函数截取中文字符时,不能把中文当做1个字符长度来处理,导致报编码问题。 处理步骤 登录Impala客户端安装节点,执行以下命令。 cd 客户端安装目录 source bigdata_env 执行以下命令创建表。
eader故障时重新选举Leader,避免单点故障。 处理读请求,并配合Leader一起进行写请求处理。 Observer Observer不参与选举和写请求的投票,只负责处理读请求、并向Leader转发写请求,避免系统处理能力浪费。 Client ZooKeeper集群的客户端
流作业和批作业的状态监控。 Flink作业运维能力增强,包括原生监控页面跳转。 性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。 读取HDFS数据时,提前根据计算周期过滤。 作业
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 参考如何判断某个服务是否使用了Ranger鉴权,确认服务是否启用了Ranger鉴权? 是,执行3。 否,编辑角色,根据服务的权限控制类别添加业务开发时需要的权限,参见表1。
新增作业 场景描述 在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
终止作业 场景描述 当作业提交后未执行完成时,手动终止作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
克隆MRS集群作业 本章节介绍如何克隆作业列表中的作业。 用户每次只能克隆1个作业,单击克隆后的作业信息不再区分显示运行程序参数和执行程序参数,而是合并显示为命令参考。 DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。
大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。 本章节适用于MRS 3.x及后续版本集群。 配置描述 有关如何配置CPU隔离与安全的CGroups功能的详细信息,请参见Hadoop官网: MRS 3.2.0之前版本:http://hadoop.apache
键值对的计算结果 final KTable<String, Long> counts = source // 处理接收的记录,根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays
ssage.max.bytes进行检索。 MRS中Kafka服务端默认可以接收的消息最大为1000012 bytes =977 KB。 解决办法 与用户确认,当前Flume发送数据确实存在超过1M的消息。因此,为了确保当前这些消息能够写入Kafka,需要调整Kafka服务端相关参数。
Spark CBO调优 操作场景 SQL语句转化为具体执行计划是由SQL查询编译器决定的,同一个SQL语句可以转化成多种物理执行计划,如何指导编译器选择效率最高的执行计划,这就是优化器的主要作用。传统数据库(例如Oracle)的优化器有两种:基于规则的优化器(Rule-Based
查询集群节点列表 功能介绍 查询集群节点列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
ClickHouse支持多副本能力,但进行本地表写入的时候,当前节点的数据会立即更新成功,但其他副本之间的数据同步是异步的。 本章节主要介绍如何配置ClickHouse保证副本间数据强一致。 参数配置 配置ClickHouse副本间数据强一致优先级别:单条语句设置 > 会话级别设置
导出Doris查询结果集 本章节主要介绍如何使用SELECT INTO OUTFILE命令,将Doris查询结果集使用指定的文件格式导出到指定的存储系统中。 导出命令不会检查文件及文件路径是否存在、是否会自动创建路径、或是否会覆盖已存在文件,由远端存储系统的语义决定。 如果在导出
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 参考如何判断某个服务是否使用了Ranger鉴权,确认服务是否启用了Ranger鉴权? 是,执行3。 否,编辑角色,根据服务的权限控制类别添加业务开发时需要的权限,参见表1。
一个集群上最多有20个标签。 此接口为幂等接口: 创建时,同一个集群不允许重复key,如果数据库存在就覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/tags/action 表1
HBase客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 操作视频 该视频为您介绍如何在MRS集群创建成功后,通过登录HBase客户端实现创建表,往表中插入数据并修改表数据等功能。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
管理MRS集群数据连接 本章节主要介绍如何在MRS管理控制台上创建、查看和删除集群数据连接。 创建数据连接 登录MRS管理控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 配置RDS MySQL数据连接相关操作请参考为已有MRS集群创建RDS数据连接相关操作进行配置。