检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否,登录其他故障节点执行12至14;排查“/etc/ldap.conf”修改前URI中第一个LdapServer节点,是否故障,例如业务IP不可达、网络延时过长或者部署其他异常的软件。 收集故障信息。
- 引导操作 引导操作可以在集群内指定的节点上执行脚本,来进行安装第三方软件、修改集群运行环境等自定义操作,详情说明请参考添加MRS节点引导操作安装第三方软件。
左右的问题 解决Hive的WebHcat进程kill后,无法自拉起,无告警上报的问题 解决Kafka在kerberos认证失败之后自动重启存在异常的问题 解决Hudi和Spark目录下的Spring包不兼容的问题 解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题 解决老Guardian
排查LdapServer节点是否故障,例如业务IP不可达、网络延时过长等;若故障为阶段性,则需在故障时排查,并尝试执行top命令查看是否存在异常软件。 检查是否NodeAgent进程内存不足。 以root用户登录故障节点,执行以下命令查看NodeAgent进程日志。
例如客户端软件包的下载路径为主管理节点的“/tmp/FusionInsight-Client”目录,执行以下命令: mkdir /opt/client/lib cd /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。
在购买包含有Task类型节点组件的集群时,参考自定义购买MRS集群配置集群软件配置和硬件配置信息后,在“高级配置”页签的弹性伸缩栏,打开对应Task节点类型后的开关按钮,即可进行弹性伸缩规则及资源计划的配置或修改。
用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。
例如客户端软件包的下载路径为主管理节点的“/tmp/FusionInsight-Client”目录,执行以下命令: mkdir /opt/client/lib cd /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig
createStream仍然存在,但是性能和稳定性差,建议不要使用老接口开发应用程序。
表1 软件配置 参数项 参数说明 取值 区域 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 计费模式 MRS提供两种计费模式: 包年/包月 按需计费 选择“按需计费”时,可能需要冻结一定的保证金。
用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 创建Resource。
读取性能较差,因为需要将delta log和老数据文件合并。 Hudi表存储 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。
读取性能较差,因为需要将delta log和老数据文件合并。 Hudi表存储 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。
用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。
用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 创建Catalog。
用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。
createStream仍然存在,但是性能和稳定性差,建议不要使用老接口开发应用程序。
该参数作用为distcp时候保留block大小,确保新集群写入文件blocksize和老集群一致。 图2 distcp时保留block大小 父主题: 使用HDFS
在jar包所在目录下创建“conf”目录,将准备集群配置文件中获取的集群客户端配置文件软件包内“Flink/config”内的配置文件上传至“conf”目录。 将应用程序待处理的源数据文件上传至NodeManager实例所在节点。