检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka topic无法删除的问题 父主题: 使用Kafka
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka Topic无法删除的问题 父主题: 使用Kafka
Spark SQL常用概念 DataSet DataSet是一个由特定域的对象组成的强类型集合,可通过功能或关系操作并行转换其中的对象。 每个Dataset还有一个非类型视图,即由多个列组成的DataSet,称为DataFrame。
登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluster_1_Services_ClientConfig/Kudu/config”路径下的所有配置文件至客户端节点
管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行以下命令查看主备节点的资源状态。
admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。
/taskmanagers 任务管理员信息。 /taskmanagers/<taskmanagerid>/metrics 任务管理员的度量信息。 /taskmanagers/<taskmanagerid>/log 任务管理员的日志信息。
建表时需要提前规划将来要使用的字段个数,可以多预留几十个字段,类型包括整型、字符型等。避免将来字段不够使用,需要较高代价临时去添加字段。 父主题: Doris应用开发规范
Kafka有如下几个特点: 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 支持online和offline场景 接口类型简介 Kafka主要提供了的API主要可分Producer API和Consumer API两大类,均提供有Java API,使用的具体接口说明请参考Kafka
call show_commit_files(table=>'hudi_mor', instant_time=>'20230216144548249', limit=>'1'); 返回结果 参数 描述 action instant_time对应的commit所属的action类型
输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。
输入与输出 输入:需要拼接的字段 输出:拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符,可为空。 string 否 空字符串 被拼接字段名 配置需要被拼接字段名。
输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。
登录MRS集群 查看MRS集群主备管理节点 登录MRS集群节点 父主题: MRS集群运维
以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。
登录GaussDB(DWS)管理控制台,选择左侧的“管理 > 连接客户端”,下载JDBC驱动,如下图所示: 图2 下载JDBC驱动 解压,获取“gsjdbc200.jar”文件,并上传到MRS集群主Master节点,例如上传到“/tmp”目录下。
MRS Manager界面操作:登录MRS Manager,选择 “服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。
图3 单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有FlinkServer管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理?
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 数据管理维护 Hudi常见配置参数 Hudi性能调优 Hudi常见问题