检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
允许例外条件 > 允许条件。 系统判断流程可参考下图所示,如果组件资源请求未匹配到Ranger中的权限策略,系统默认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要将一个文件夹FileA的读写权限授权给用户组groupA,但是该用户组
/certHA/server.crt可以查看HA用户证书的生效时间与失效时间。 是,执行8。 否,执行7。 CA或者HA证书的“生效时间”和“失效时间” 示例: Certificate: Data: Version: 3 (0x2) Serial
恢复管理”。 单击“创建”。 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择待操作的集群。 在“恢复配置”,勾选“DBService”和“Kafka”。 在“DBService”的“路径类型”,选择一个备份目录的类型。具体参数配置要求请参考8。 在“Kafka”的“路径类型”
UI”右侧的超链接,进入CDLService WebUI界面。 选择“连接管理 > 新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“dws”和“hudi”连接,相关数据连接参数介绍请参见创建CDL数据库连接。 表1 DWS数据连接配置参数 参数名称 示例 Link Type dws
常的mutation任务。 业务写入压力过大导致merge速度小于insert速度。 可以用以下SQL语句检查报错节点最近一小时的写入条数和频次: select tables,written_rows,count() from system.query_log where type='QueryFinish'
已被占用。 Spark UI端口范围由配置文件spark-defaults.conf中的参数“spark.random.port.min”和“spark.random.port.max”决定,如果该范围端口都已被占用,则 导致无端口可用从而连接失败。 解决方法:调节重连次数spark
易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束: HBase双读特性基于Replication实现,备集群读取的数据可能和主集群存在差异,因此只能实现最终一致性。 目前HBase双读功能仅用于查询。主集群宕机时,最新数据无法同步,备集群可能查询不到最新数据。 H
install”,双击“install”运行maven的insatll命令。 图2 maven工具的clean和install 将target目录下的clickhouse-examples-*.jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHous
业务会受到影响。 HBase、Hive、Spark和Loader组件可显示“亚健康”(Subhealthy)状态。 Yarn已安装且不正常时,HBase处于“亚健康”状态。 HBase已安装且状态不正常时,Hive、Spark和Loader处于“亚健康”状态。 配置状态 已同步 系统中最新的配置信息已生效。
Catalog进行基于用户、用户组的授权。详细操作请参考新增授权章节。 选择“接入管理 > 创建客户端”,创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过MRS管理控制台中,MRS集群的概览页面中获取。
文件名。如“mysql-connector-java-*.jar”。需将Jar包预先存放在FE和BE部署目录的“jdbc_drivers/”目录下。系统会自动在这个该目录下寻找。该目录的位置,也可以由“fe.conf”和“be.conf”中的“jdbc_drivers_dir”配置修改。 本地绝对
标签的key值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及 value String 参数解释: 标签的值。 约束限制: 不涉及 取值范围: 标签的value值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。
hoodie.index.hbase.table 仅在索引类型为HBASE时适用,必填选项。HBase表名称,用作索引。Hudi将row_key和[partition_path, fileID, commitTime]映射存储在表中。 无 父主题: Hudi常见配置参数
cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser) 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create
principal=impala/hadoop.hadoop.com;user.keytab=conf/impala.keytab"; 以上已经经过安全认证,所以用户名和密码为null或者空。 // 建立连接 connection = DriverManager.getConnection(url, "", "");
use业务用户关联,具体请参见添加MRS租户章节。 配置ClickHouse SQL防御使用约束 防御规则默认动态生效时间为1分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 ClickHouse相关规则配置后,需要重新登录客户端生效。 配置ClickHouse