检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dir=${BIGDATA_HOME}/FusionInsight_HD_xxx/install/FusionInsight-Hadoop-xxx/hadoop 父主题: MapReduce性能调优
新建集群Consumer消费数据失败,提示“GROUP_COORDINATOR_NOT_AVAILABLE” 问题背景与现象 新建Kafka集群,部署Broker节点数为2,使用Kafka客户端可以正常生产,但是无法正常消费。Consumer消费数据失败,提示GROUP_COOR
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询主机列表信息成功。 错误码 请参见错误码。 父主题: 集群管理接口
MRS样例工程下载地址为https://github.com/huaweicloud/huaweicloud-mrs-example。 切换分支为与MRS集群相匹配的版本分支,例如“mrs-3.2.0.1”,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载
VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。当确认不再需要绑定EIP时,单击“解绑”将解绑与该集群绑定的可信任弹性公网IP,解绑后将无法从该IP访问MRS Manager页面。
SparkStreaming消费Kafka消息失败,提示“Couldn't find leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: Couldn't find
UDP端口,导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的,需要重新设置防火墙,把需要使用的UDP端口都打开,保证应用程序在Windows环境下运行的机器与MRS集群的网络是完全通畅的。 父主题: MapReduce应用开发常见问题
为什么存储小文件过程中,缓存中的数据会丢失 当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 为什么NameNode UI上显示有一些块缺失 父主题: 使用HDFS
息的规则名称并绑定SMN主题。 规则名称:用户自定义发送告警消息的规则名称,只能包含数字、英文字符、中划线和下划线。 主题名称:选择已创建的SMN主题,也可以单击“创建主题”重新创建。 新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。 开启 安装UniAgent
Hudi常见问题 数据写入 数据采集 Hive同步 父主题: 使用Hudi
urnalNode。 如此把所有的不连续的edits文件全部都修复。 重启NameNode,观察是否成功。如还是失败,请联系技术支持。 父主题: HDFS故障排除
kSQL与ClickHouse数据类型对应关系如下表所示。 MRS 3.2.0及以后版本,根据安全需求,FlinkServer界面回显FlinkSQL时,SQL中的“password”字段将显示为空,在回显状态下需要将密码信息补齐后再提交作业。 表1 FlinkSQL与ClickHouse数据类型对应关系
安全性。 数据备份与恢复:提供了数据备份导出与导入恢复机制,满足生产环境的要求。 分布式管理:提供集群模式,能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库,数据按列进行组织,属于同一列的数据会被保存在一起,列与列之间也会由不同的文件分别保存。
${TableName}删掉表即可。 建议与总结 Hive分区虽然可以提高查询效率,但要避免分区不合理导致出现大量小文件的问题,要提前规划好分区策略。 父主题: 使用Hive
而gaussDB中提供的接口sendOneQuery,调用的sendParse方法中对参数的限制为32767,如果分区条件数超过32767就会产生异常。 父主题: Hive常见问题
“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
Hive存储在OBS上的分区表,不支持将分区location配置为hdfs路径(存储在HDFS上的分区表也不支持修改分区location为OBS)。 父主题: Hive常见问题