检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在修改了大数据组件的配置项后,需要重启对应的组件来使得配置生效,使用普通重启方式会并发重启所有服务或实例,可能引起业务中断。 为了确保服务重启过程中,尽量减少或者不影响业务运行,可以通过滚动重启来按批次重启服务或实例(对于有主备状态的实例,会先重启备实例,再重启主实例)。 与普通重启
Hive常用常用配置参数 参数入口 对于MRS 3.x之前版本,登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 对于MRS 3.x之后版本,登录FusionInsight Manager,选择“集群
32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight
HiveServer或者MetaStore实例的健康状态为Concerning 问题现象 HiveServer或者MetaStore实例的健康状态为Concerning。 可能原因 HiveServer或者MetaStore实例在启动的时候发生异常,无法正常启动。如,当修改MetaStore/HiveServer
修改RPC端口后HDFS NameNode实例都变为备状态 用户问题 通过页面更改NameNode的RPC端口,随后重启HDFS服务,出现所有NameNode一直是备状态,导致集群异常。 问题现象 所有NameNode都是备状态,导致集群异常。 原因分析 集群安装启动后,如果修改NameNod
类型数据库。 名称 newtest 数据连接的名称。 数据库实例 - RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 dataname 待连接的数据库的名称。 用户名
在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。
在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
Aborted 该日志说明异常的RegionServer实例和HMaster实例的时差大于允许的时差值30s(由参数hbase.regionserver.maxclockskew控制,默认30000ms),导致RegionServer实例异常。 解决办法 调整异常节点时间,确保节点间时差小于30s。
中的HetuEngine计算实例,需要重启HetuEngine的计算实例。 MRS 3.x及之后版本,配置跨集群互信后,各个集群都需要重新下载并安装客户端。 配置跨集群互信后,验证配置后是否可以正常工作,且如何使用本系统用户访问对端系统资源,请参见配置互信MRS集群的用户权限。 前提条件
如何查看MRS集群配置信息? 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面,可以查看到集群的基本配置信息,包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。 节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点实例规格越高
detect.datapart.nm.logs} 【注意】请谨慎修改该项。如果配置不当,将造成服务不可用。当角色级别的该配置项修改后,所有实例级别的该配置项都将被修改。如果实例级别的配置项修改后,其他实例的该配置项的值保持不变。 %{@auto.detect.datapart.nm.logs}
detect.datapart.nm.logs} 【注意】请谨慎修改该项。如果配置不当,将造成服务不可用。当角色级别的该配置项修改后,所有实例级别的该配置项都将被修改。如果实例级别的配置项修改后,其他实例的该配置项的值保持不变。 %{@auto.detect.datapart.nm.logs}
该告警在单集群跨AZ容灾部署时产生,ClickHouseServer实例部署不满足跨AZ容灾拓扑分配要求,导致部分实例不能正常工作。 在告警的定位信息中找到“主机名”,在FusionInsight Manager上单击“集群 > 服务 > ClickHouse > 实例”,根据主机名称,在AZ列找到当前告警的AZ信息。
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore实例。 父主题: 使用Hive
FlinkSQL ClickHouse表开发建议 配置多个ClickHouseBalancer实例IP 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。相关配置(with属性)如下: 'url' = 'jdbc:cli
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种
启动实例”,启动该实例。 如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。 如果异常角色较多,可单击右上角的“管理操作”选择启动所有组件。 如果存在其他情况导致服务异常无法解决,请联系技术服务协助处理。 也可通过集群Manager页面进行启动实例操作,具体请参考实例管理概述。 父主题:
使用“Ctrl + C”退出spark beeline。 集群安装后使用spark sql 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件: vim 客户端安装目录/Spark2x/spark/conf/hdfs-site