检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机D状态和Z状态进程数过高时,无法创建新的业务进程,可能会导致并发任务处理变慢、业务延迟。 业务失败:主机D状态和Z状态进程数过高时,无法创建新的业务进程,可能会导致作业运行失败。
实例”,获取HSBroker所有实例的业务IP;在“配置”页签,搜索“server.port”,获取HSBroker端口号。 user 访问HetuEngine的用户名,即在集群中创建的“人机”用户的用户名。 password 在集群中创建的“人机”用户的用户密码。 getStatementStatus()
import导入,只能考虑使用hcatalog方式,但是hcatalog方式报错如下: 回答 修改sqoop源码SqoopHCatUtilities中的代码,将限制代码去掉。 修改hive客户端中的hive-site.xml文件,修改hive.metastore.integral.jdo.pushdown参数为true。
户,用于后续的安全登录,开启Kerberos服务的renewable和forwardable开关并且设置票据刷新周期,开启成功后重启kerberos及相关组件。 默认情况下,用户的密码有效期是90天,所以获取的keytab文件的有效期是90天。 Kerberos服务的renewa
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB持续触发写限流,主要反应的是Flink作业的CheckPoint的性能,对Flinkserver本身没有影响。
单击“确定”,完成日志组的创建。 在“日志管理”页面中,可以查看日志组名称、日志存储时间、创建时间、创建类型和标签(支持修改)。单击日志组操作列的“修改”可修改日志组名称和日志存储时间。 单击日志组名称,可跳转到日志流详情页面。 创建日志流。 在云日志服务管理控制台,单击日志组名称对应的下拉按钮。
产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB持续发生is-write-stopped,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高
e个数)的任务,运行日志中出现大量的消息发送失败和Executor心跳超时,从而导致任务失败。 回答 对于Hash shuffle,在shuffle的过程中写数据时不做排序操作,只是将数据根据Hash的结果,将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题是如果
e个数)的任务,运行日志中出现大量的消息发送失败和Executor心跳超时,从而导致任务失败。 回答 对于Hash shuffle,在shuffle的过程中写数据时不做排序操作,只是将数据根据Hash的结果,将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题是如果
执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginning”,则会读取所有Kafka中未被自动删除的消息。 Kafka角色实例所在节点IP地址,填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Ker
ClickHouse是一款使用列式存储的数据库,数据按列进行组织,属于同一列的数据会被保存在一起,列与列之间也会由不同的文件分别保存。 在执行数据查询时,列式存储可以减少数据扫描范围和数据传输时的大小,提高了数据查询的效率。 例如在传统的行式数据库系统中,数据按如下表1顺序存储: 表1 行式数据库 row
getState = count } 带checkpoint的数据源 source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 下面代码
说明。 表1 MRS集群基本信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。单击可对集群名称进行修改。 修改集群名称后仅MRS管理控制台界面显示的集群名称修改,MRS Manager中集群名称不会同步修改。 集群状态 集群状态信息,请参见表2。 集群版本 MRS版本信息。
查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义,发现字段名为大写,与流定义字段名称不一致。 单独调试execute方法,发现抛出字段不存在。 处理步骤 修改流定义字段名称为大写,与数据库表定义字段一致。 父主题: 使用Storm
ClickHouseServer(角色) > 性能”。 按需修改“max_server_memory_usage_to_ram_ratio”参数值,并保存配置。 修改该参数不需要重启即可生效。 参数取值范围为0~1,表示可用于ClickHouse的服务器的总物理RAM量的比例。如服务器物理内存为10G,该值设置为0
1 --topic {Topic} 启动Kafka的Producer,向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径,详细路径由用户指定,可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOM
--partitions 1 --topic {Topic} 启动Kafka的Producer,向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径,详细路径由用户指定,可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME
提供集群状态的监控功能,您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制,您能及时的获取系统的关键信息。 提供服务属性的配置功能,满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能,满足您一键启停等操作需求。 MRS Manager简介 EIP方式访问集群 通过EIP访问快速便捷的访问Manager,及开源组件Web站点。
图1 报错信息 回答 以下原因可能造成该报错: HDFS客户端向NameNode发送新Block申请,由于NameNode来不及处理导致超时。 DataNode增量上报太慢,NameNode无法及时分配新的Block。 出现该报错作业不会立即异常,在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs