检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入配置文件时,建议配置Source/Channel/Sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一 test spoolDir 待采集的文件所在的目录路径,此参数不能为空。该路径
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Broker实例的Produce请求在请求队列的时延超过阈值,请求队列堆积造成写入请求的响应时间增加,对于时延敏感型业务,可能会导致大量的业务写入请求超时。
解锁MRS集群LDAP用户 在用户输入错误密码次数大于允许输入的错误次数,造成用户被锁定的场景下,用户可以通过Manager为锁定的用户解锁(仅支持解锁通过Manager创建的用户),也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态,有可能是系统内部用户被锁
> 下载”。 在“服务”中勾选待操作集群的“DBService”。 设置日志收集的主机,可选项,默认所有主机。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
返回。比较器将使用两个可为空的参数,表示数组的两个可为空的元素。当第一个可为空的元素小于,等于或大于第二个可为空的元素时,它将返回-1、0或1。如果比较器函数返回其他值(包括NULL),则查询将失败并引发错误。 SELECT array_sort(ARRAY [3, 2, 5, 1
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase热点检测功能不可用。对于正常业务无影响,但是如果业务存在请求或者数据倾斜问题,无法提供主动感知上报告警以及自愈的能力,该业务的请求可能会导致
作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
解决方法 应用无法访问到SparkUI的IP:PORT。可能有以下原因: 可能原因一:集群节点与客户端节点网络不通。 解决方法: 查看客户端节点“/etc/hosts”文件中是否配置集群节点映射,在客户端节点执行命令: ping sparkui的IP 如果ping不通,检查映射配置与网络设置。
行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行,其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓。
Doris支持使用基于MySQL协议的客户端访问单个FE节点进行业务操作,当FE故障时,无法对外提供服务。因此,MRS服务提供了基于弹性负载均衡ELB的部署架构如图1所示。 基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 组件审计日志转储失败时,如果组件本地老化这部分审计日志,审计日志将无法找回,影响分析排查组件的业务行为。 可能原因 服务审计日志过大。
数据库连接端口为Doris FE的查询连接端口,可通过登录MRS Doris集群的Manager界面,选择“集群 > 服务 > Doris > 实例”,查看任一FE实例的业务IP地址获取。 Doris FE实例IP地址可通过登录MRS Doris集群的Manager界面,选择“集群
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 按需和包周期节点组扩容时有不同的返回体,包周期节点组返回订单ID,后续需要根据订单ID进行支付才能真正进行扩容。
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个HadoopStream作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。
操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行,所以,索引也只在每次加载时执行。这意味着,对于每次加载都会产生一个索引,随着数据加载数量的增加,索引的数量也随之增加。由于每个索引只在一次加载时工作,索引的性能被降低。C
业提交等任务。集群客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。 集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。 本章节指导用户安装MRS 2.x及之前版本的集群客户端,MRS 3.x版本请参考安装客户端(3
java:858) 回答 出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足,服务端对客户端的响应过慢。在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数
lete database:操作的数据库名称 ts:操作时间,13位时间戳 table:操作的表名 data:数据增加/删除/修改之后的内容 old:数据修改前的内容或者表修改前的结构定义 sql:DDL操作的SQL语句 def:表创建与表修改的结构定义 xid:事务唯一ID c
是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。当发生主备倒换时,同步异常的配置文件可能会丢失。Manager及部分组件可能无法正常运行。