检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
getClusterNodes(GetClusterNodesRequest request) Client通过此接口从RM获取集群中的所有节点信息。 getContainerReport(GetContainerReportRequest request) Client通过此接口
bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server Kafka角色实例所在节点的业务IP地址:21007 --consumer.config config/consumer.properties --from-beginning
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive直接内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例直接内存使用量过大,或分配的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响到Hive数据的读写,可能导致任务执行变慢,甚至服务异常重启。 可能原因 该节点Hive实例内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 在FusionInsight
size.threshold.reject RegionServer单个请求包含的数据操作条数超出阈值时,是否拒绝请求。 同一个请求中如果存在一个节点的大量写入、更新、删除操作,即操作数量超过“hbase.rpc.rows.warning.threshold”参数值,会导致热点问题,性能
步骤3:Hive外表数据通过CDM迁移到Doris 创建Doris的Unique表。 登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用K
修改完成后,单击左上方“保存”,在弹出的对话框中单击“确定”保存配置。 单击“概览”页签,选择右上方“更多 > 重启服务”重启Kafka服务。 以root用户登录集群主节点,将获取到的EFAK安装包kafka-eagle-bin-3.0.1.tar.gz放到集群目录下,例如“/opt”,执行以下命令解压。 cd
后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 - 表示在指定资源标签(Label)的节点上执行任务。 说明: 如果需要使用新的资源池,需要修改默认标签为新的资源池标签。 跨资源池调度 - 表示当前队列内Container是否支持跨资源池调度。(仅MRS
登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。
已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。 执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。 执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。 执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。 执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。 使用root登录客户端安装节点,执行如下命令: cd /opt/client 执行source命令加载环境变量: source bigdata_env source Hudi/component_env
FusionInsight Manager转告警监控指标可分为节点信息指标与集群服务指标。表2表示节点中可配置阈值的指标、表3表示组件可配置阈值的指标。 下表中的“默认阈值”参数值以未开启分级告警开关为例,具体以实际界面显示为准。 表2 节点信息监控指标转告警列表(未开启分级告警开关) 监控指标组名称
新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图3所示。 名称:用户自定义连接名称,例如“obslink”。 OBS终端节点、端口:配置为OBS实际的地址信息。 OBS类型:保持默认。 访问标识(AK)、密钥(SK):登录OBS的AK、SK信息。 图3 创建OBS连接
s需要开放的端口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。 解决方案 确保用户可以正常读取客户端节点相关路径下的user.keytab文件。 确保用户的user.principal与指定的keytab文件对应。 可通过klist -kt keytabpath/user
Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168.1
Manager,具体请参见访问集群Manager。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(节点名称,主)”对应的链接,打开HDFS WebUI,然后选择“Utilities > Browse the file system”。 观察