检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题: MRS集群运维
装Agent(MRS集群每个节点都需要安装),安装完成后可开启防护。 确保MRS集群的节点与HSS配额在同一区域,并使用配额所在区域的安装命令或安装包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗
“带宽上限”为可选参数,若不填写则为无上限,最大可设置为10000MB/s。 在选择迁移数据表界面,单击“数据库”后的,选择待迁出节点上存在的数据库,在“数据表”处选择待迁移的数据表,数据表下拉列表中展示的是所选数据库中的MergeTree系列引擎的分区表。“节点信息”中展示的为当前迁入节点、迁出节点
则可以使用MapPartitions,按每个分区计算结果,如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
则可以使用MapPartitions,按每个分区计算结果,如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
在“数据配置”的“数据选择”中,根据业务需要勾选一个或多个需要恢复的已备份数据。 配置约束: 本集群Doris中已存在与所选备份数据原数据库同名的数据库。 备份数据会按备份表的原名称恢复到同名数据库中。 如果存在同名表,须保证两张表的表结构完全一致。表结构包括:表名、列、分区、物化视图等。 在“保持原数据
数据同步参数说明 表1 数据状态同步参数说明 参数 参数说明 数据表 Replicated*MergeTree系列引擎表表名。 所属数据库 数据表所在的数据库。 分片信息 数据表所在的ClickHouse分片。 同步状态 分为以下几种状态。 无数据:当前分片节点上该表没有数据。 已同步
- - - - - - - √ √ UPDATE CARBON TABLE √ √ - - - - √ - - - DELETE RECORDS from CARBON TABLE √ √ - - - - √ - - - DELETE SEGMENT by ID - - - √ √
ldap userDNPattern 例如:cn=%s,ou=People,dc=huawei,dc=com - - --ldap_passwords_in_clear_ok 如果设置为true,将允许ldap密码在网络上明文发送(不含TLS/SSL)。 false true或false
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Impala用户自定义函数。
ALM-45325 Presto服务不可用 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警;当Presto服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45325 紧急
配置FlinkServer作业中使用UDF 本章节适用于MRS 3.1.2及之后的版本。 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。用户可以在Flink WebUI界面中上传并管理UDF jar包,然后在运行作业时调用相关UDF函数。 Flink支持以下3类自定义函数,如表1。
Hue开源增强特性 Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中,有不同的副本数。本特性可以手工设置HDFS目录的存储策略,或者根据HDSF文件最近访问时间和最近修改时间,自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。
参见快速使用HBase进行离线数据分析更新并登录HBase客户端,验证Ranger是否已经完成集成HBase。 以客户端安装用户登录客户端安装节点,执行如下命令,进入hbase shell。 source /opt/client/bigdata_env hbase shell 图7 进入hbase
RPC处理平均时间超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行8。 登录告警上报节点,执行iostat -x 2命令查看磁盘IO,查看回显中各磁盘“util”列的值是否大于90%。 是,执行9。 否,执行11。 选择“集群 > 服务 > HDFS > 实
实例”查看FlinkServer两个实例的业务IP。 以root用户登录异常FlinkServer实例所在的服务器,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令检查另一个FlinkServer实例的服务器是否可达。 ping 另一个FlinkServer实例IP 是,执行8。 否,执行6。 联系网络管理员处理网络故障。
如何迁移Hive/HDFS的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select权限 父主题: 使用ClickHouse
- - - - - - - √ √ UPDATE CARBON TABLE √ √ - - - - √ - - - DELETE RECORDS from CARBON TABLE √ √ - - - - √ - - - DELETE SEGMENT by ID - - - √ √
ldap userDNPattern 例如:cn=%s,ou=People,dc=huawei,dc=com - - --ldap_passwords_in_clear_ok 如果设置为true,将允许ldap密码在网络上明文发送(不含TLS/SSL)。 false true或false