检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FE的查询连接端口,可以通过登录Manager,选择“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,选择“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。
业重启次数,如果重启次数超过用户配置的阈值,则发送告警。当作业重启成功,则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45638 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 任务名 产生告警的任务名称。 对系统的影响
业重启次数,如果重启次数超过用户配置的阈值,则发送告警。当作业重启成功,则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45638 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 任务名 产生告警的任务名称。 用户名 产生告警的用户名称。
个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值
GuoYijun CaiXuyu FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1
3.3.0及以后版本。 Flink作业大小表Join Flink作业双流Join时存在大小表数据,通过内核broadcast策略确保小表数据发送到Join的task中,通过rebalance策略将大表数据打散到Join中,提高Flink SQL易用性,增强作业稳定性。 图1 Flink作业大小表Join
址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。
址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。
Flink向Kafka生产并消费数据应用开发思路 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求,开发的Flink应用程序实现功能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。Flink向Kafka组件发送数据(需要有kafka权限用户),并从Kafka组件获取数据。
户即将在15天内过期,则发送告警。 当系统中ommdba用户过期的期限重置,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12082 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
HetuEngine启动计算实例时,会给Yarn发送命令启动对应的application,若30秒内没有接收到Yarn的响应消息,则因超时结束此次请求。 若由于机器性能或者是网络环境问题,无法在30秒内接收到Yarn启动application的响应消息时,可适当延长对应的超时时间。 登录FusionInsight
请检查安装目录和数据目录下的内容”。 图1 健康检查结果 安装补丁的影响 安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。 安装补丁后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的
时间剩余不足15天,则发送告警。 当系统中ommdba用户密码过期的期限重置,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12083 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
FE实例IP地址可在Manager界面,选择“集群 > 服务 > Doris > 实例”查看。 HTTPS端口号可在Manager界面,选择“集群 > 服务 > Doris > 配置”,搜索“https_port”查看。 HTTP端口号可在Manager界面,选择“集群 > 服务 > Doris > 配置”,搜索“http_port”查看。
系统每60秒周期性检测Kafka服务默认用户,当检测到该用户异常时发送此告警。 平滑次数为1,当用户状态恢复后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38007 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
over.window.interval.last.rowdata false 是否只向下游算子发送最后一条数据。 false(默认值):发送所有未过期的数据。 true:只向下游算子发送最后一条数据。 使用方法 配置Flink作业时,可通过在FlinkServer Web UI的作业开发界面添加自定义参数“over
GuoYijun CaiXuyu FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
GuoYijun CaiXuyu FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1