检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“Group” 表示目录或文件的属组。 “Permissions” 表示目录或文件的权限设置。 “Date” 表示目录或文件创建时间。 在搜索框输入关键字,系统会在当前目录自动搜索目录或文件。 清空搜索框的内容,系统会重新显示所有目录和文件。 执行动作 单击,选择一个或多个目录或文件。 单击“
配置Guardian服务对接OBS 操作场景 该章节指导用户开启Guardian组件存算分离操作。开启后Guardian可以在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据。 配置Guardian服务对接OBS主要操作如下:
$BIGDATA_HOME/components/current/服务名/configurations.xml 查询“healthMonitor.properties”关键字,找到该告警上报实例对应的健康检查配置项,记录“monitor.info”参数配置的接口或者脚本路径,如下图所示。 查看接口或者脚本中打印的日志,并修复对应问题。
env.execute("FemaleInfoCollectionPrint java"); } // 构造keyBy的关键字作为分组依据 private static class UserRecordSelector implements KeySelector<UserRecord
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS_3.3.0-LTS.1.1 发布时间 2024-12-20 解决的问题 解决Manager问题: 修改Chrony的域名会导致Nodeagent无法启动。 集群扩容时,在同步组件配置时HDFS组件配置同步失败,导致启动HDFS服务失败。
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,
array_agg(x ORDER BY y DESC); array_agg(x ORDER BYx,y,z); 过滤filter 使用filter关键字可以在聚合的过程中,通过使用where的条件表达式来过滤掉不需要的行。所有的聚合函数都支持这个功能。 aggregate_function(
的路径,需要满足以下要求。 待执行SQL脚本文件地址,可直接手动输入地址路径,也可单击“HDFS”或者“OBS”选择文件。 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 OBS程序路径地址以“obs://”开头,例如“obs://wordcount/program/XXX
strings 参数解释: 程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 约束限制: 参数最多为150000字符,不能包含;|&>'<$!"\特殊字符,可为空。 说明: 若输入带有敏感信息(如登录密码)的参数可能在作业详情展示和日志打印中存在暴露的风险,请谨慎操作。
恢复ClickHouse业务数据 操作场景 在用户意外修改、删除或需要找回数据时,集群用户对ClickHouse进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对ClickHouse进行恢复数据操作。
Flume常用配置参数 MRS 3.x之前版本需在“properties.properties”文件中配置。 MRS 3.x及之后版本,部分参数可在Manager界面配置。 基本介绍 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。
EST API的接口,无法创建包含 "<script ", "<iframe", "<frame", "javascript:" 这些关键字的目录和文件名。 父主题: HDFS常用API介绍
的路径,需要满足以下要求。 待执行SQL脚本文件地址,可直接手动输入地址路径,也可单击“HDFS”或者“OBS”选择文件。 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 OBS程序路径地址以“obs://”开头,例如“obs://wordcount/program/XXX
23后补充一个空格。 当用户设置部分为Test@123,使用默认用户密码策略时,新密码为“Admin@123Test@123”,长度为17字符种类为4。需满足当前用户密码策略时,新密码处理如表1所示。 表1 满足不同密码策略时的新密码 最小密码长度 字符种类 对比用户密码策略结果
EST API的接口,无法创建包含 "<script ", "<iframe", "<frame", "javascript:" 这些关键字的目录和文件名。 父主题: HDFS常用API介绍
flink_job 执行程序路径 待执行程序包地址,可直接手动输入地址路径,也可单击“HDFS”或者“OBS”选择文件。 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 OBS程序路径地址以“obs://”开头,例如“obs://wordcount/program/XXX
访问MRS集群Manager 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
访问MRS集群Manager(2.x及之前版本) 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量,减少网络IO,从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发
迁移MRS集群内ClickHouse数据至其他MRS集群 本章节仅适用于MRS 3.2.0及之后版本。 操作场景 场景一:随着MRS ClickHouse业务数量的增长,原有集群的存储和计算资源已不满足业务需求,需要对集群进行拆分,将部分用户业务及数据库数据迁移到新建集群中。 场景二:MRS