检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致Loader服务响应缓慢。 可能原因
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据,导致依赖本目录(详细参见告警定位信息)的上游组件(例
打开FusionInsight Manager页面,看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.120.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web
注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false
打开FusionInsight Manager页面,看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.10.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web
Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session
络读吞吐率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12049 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 NetworkCardName
络写吞吐率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12050 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 NetworkCardName
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 作业名 产生告警的作业名称。 数据库名 产生告警的数据库名称。 Slot名 产生告警的数据库复制槽名称。 积压量 Slot数据积压情况。 对系统的影响 WAL日志在源端数据库不断积压,可能导致
假定某个业务Kafka每30秒就会收到5个用户的消费记录。Hbase的table1表存储用户历史消费的金额信息。 现table1表有10条记录,表示有用户名分别为1-10的用户,用户的历史消费金额初始化都是0元。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算用户的消费金额信息:即用
1表示segment0与segment1合并之后的结果。 数据合并前后的其他操作没有差别。 被合并的segments(例如segment0和segment1)即成为无用的segments,会占用空间,因此建议合并之后使用CLEAN FILES命令进行彻底删除,再进行其他操作。CLEAN FILES命令的使用方法可参考CLEAN
JDBC驱动。获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户
level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topic消费数据,将统计结果以Key-Value的形式输出,完成单词统计功能。 High Level KafkaStreams API代码样例 下面代码片段在com
单击待重置数据库用户密码的服务名称,然后在服务概览页面中单击“停止服务”。 在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 确认停止服务的影响后,等待服务成功停止。 单击待修改数据库用户密码的服务,选择“更多 > 修改数据库密码”,在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。
ART1”,表示取第1个“*”号匹配的值;“#PART8”,表示取第8个“*”号匹配的值。 “#NEXT”标记,表示取当前匹配的标签的下一个标签的值。 “#ALL”标记,表示取当前匹配的标签的所有内容作为值。 配置的标签有误时,取到的值为空,不会报错。 样例 源文件如下: 配置“
functions; 结果显示,被drop的function仍然存在,如图2所示。 图2 执行show functions操作后的结果 回答 问题根因: 上述两个问题是由于多主实例模式或者多租户模式下,使用spark-beeline通过add jar的方式创建function,此func
ART1”,表示取第1个“*”号匹配的值;“#PART8”,表示取第8个“*”号匹配的值。 “#NEXT”标记,表示取当前匹配的标签的下一个标签的值。 “#ALL”标记,表示取当前匹配的标签的所有内容作为值。 配置的标签有误时,取到的值为空,不会报错。 样例 源文件如下: 配置“
参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 任务名 产生告警的任务名称。 用户名 产生告警的用户名称。 附加信息 ThreshHoldValue 系统当前指标取值满足自定义的告警设置条件的门限值。 CurrentValue
创建HBase索引进行数据查询 操作场景 HBase是一个Key-Value类型的分布式存储数据库,HIndex为HBase提供了按照某些列的值进行索引的能力,缩小搜索范围并缩短时延。 使用约束 列族应以“;”分隔。 列和数据类型应包含在“[]”中。 列数据类型在列名称后使用“->”指定。
选择“SDKs”,单击加号选择“JDK”。 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 完成JDK选择后,单击“Apply”。 选择“Project”,在“Project SDK”下的下拉菜单中选择在“SDKs”中添加的JDK,在“Project