检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
request failed on channel 0. Connection closed”。 图1 SFTP服务报错 回答 该报错是由于未启用SFTP服务导致。 处理步骤 执行以下命令修改sshd_config配置,并保存退出。 cd /etc/ssh vi sshd_config
据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”,需要设置该值为“true”,系统即可定期备份NameNode的数据。 HDFS需要开启DataNode数据存储路径 D
有页面是否能正常打开。如果页面能正常打开,说明表都正常。 是,执行19。 否,执行25。 由于普通模式下的HBase默认未开启ACL权限控制,只有在手动开启ACL权限控制后才会存在“hbase:acl”表,需要检查该表,否则不需要检查该表。 查看HMaster的启动状态。 如图2在“Tasks”
bigdata_env 如果当前集群未启用Kerberos认证,执行如下命令连接ClickHouse服务端: clickhouse client --host ClickHouse的实例IP --multiline --port 9000 --secure 如果当前集群已启用Kerberos认证,
adapter.enable”配置为“true”,开启该功能。然后查看“adapter.topic.min.retention.hours”所配置的数据最短保存周期是否合理。 是,执行10。 否,根据业务需求合理调整数据保存周期。 启用磁盘自适应功能可能导致Topic的历史数据被清除
dfs.client.metadata.cache.enabled 启用/禁用块位置元数据的客户端缓存。将此参数设置为“true”,搭配“dfs.client.metadata.cache.pattern”参数以启用缓存。 false dfs.client.metadata.cache
监控开关由参数“dfs.namenode.directory-items.monitor.enabled”指定,默认值为“true”,即该检测默认开启。 告警属性 告警ID 告警级别 是否自动清除 14020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
source监测的端口,此参数不能为空。须配置为未被使用的端口。 21154 ssl 是否启用SSL认证(基于安全要求,建议用户启用此功能)。 只有“Avro”类型的Source才有此配置项。 true表示启用。 false表示不启用。 true keystore 服务端证书。 ${BIGDATA_H
//其中GZ的压缩率高,但压缩和解压性能低,适用于冷数据 //SNAPPY压缩率低,但压缩解压性能高,适用于热数据 //建议默认开启SNAPPY压缩 hcd.setCompressionType(Compression.Algorithm.SNAPPY); 注[2]
//其中GZ的压缩率高,但压缩和解压性能低,适用于冷数据 //SNAPPY压缩率低,但压缩解压性能高,适用于热数据 //建议默认开启SNAPPY压缩 hcd.setCompressionType(Compression.Algorithm.SNAPPY); 注[2]
Kafka端口号:登录Manager后,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,集群已启用Kerberos认证(安全模式)搜索并获取“sasl.port”参数的值,集群未启用Kerberos认证(普通模式)搜索并获取“port”的值。 例如,写入数据内容如下: {"LO_ORDERKEY":"1"
ALM-38014 Produce请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求的总体时延,当检测到某个Broker上的Produce请求的总体时延连续10次超出阈值时产生该告警。 当Produce请求的总体时延小于或等于阈值时,告警消除。
ALM-38015 Fetch请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求在请求队列的时延,当检测到某个Broker上的Fetch请求在请求队列的时延连续10次超出阈值时产生该告警。 当Fetch请求在请求队列的时延小于或等于阈值时,告警清除。
ALM-38016 Fetch请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求总体时延,当检测到某个Broker实例的Fetch请求总体时延连续10次超出阈值时产生该告警。 当Broker实例的Fetch请求总体时延小于或等于阈值时,告警清除。
<value>false</value> </property> 如果集群已启用Kerberos认证(安全模式),执行以下命令使用具有相应OBS路径“Read”和“Write”权限的用户进行认证,如果集群未启用Kerberos认证(普通模式),则无需执行此命令。 kinit 用户名
IP地址。 多个IP地址使用逗号分隔,例如配置为“10.10.10.100,10.10.10.101”。 sslUsed false 是否启用ssl加密,安全模式集群建议配置为“true”。 loadBalancerHttpPort 21425 LoadBalance的HTTP端
csv”,则导出后源文件名为“test-loader.csv.txt”。 .log 压缩 使用FTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据
导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 UTF-8 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况
Shell的方法: 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备HDFS应用开发用户时增加的开发用户。 人机用户:kinit
csv”,则导出后源文件名为“test-loader.csv.txt”。 .log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据