检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
ClickHouseBalancer实例的http端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 服务配置”,角色选择“ClickHouseBalancer”,搜索“lb_http_port”配置参数值。默认为:21425。
message 否 String 系统提示信息,执行成功时,信息可能为空。 queue_name 否 String 待修改定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 plan_id 否 Integer 待修改的队列扩缩容计划的ID。
处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。
使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。
的堆内存使用量 flink_jobmanager_Status_JVM_Memory_Heap_Committed 保证JobManager的JVM可用的堆内存量 flink_jobmanager_Status_JVM_Memory_Heap_Max JobManager中可用于内存管理的最大堆内存量
图5 创建Flink Jar对应的程序包 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建KafkaToKafka.properties对应的程序包。代码样例请参考•KafkaToKafkaExample.pro...。
message String 系统提示信息,执行成功时,该值为空。 job_id String 作业ID。可通过提交SQL作业(推荐)获取。 job_type String 作业类型。
message 否 String 系统提示信息,执行成功时,信息可能为空。 partitions 否 Object 分区信息。请参考表4。 表4 partitions参数说明 参数名称 是否必选 参数类型 说明 total_count 是 Long 总个数。
table table1; INSERT INTO/OVERWRITE指定静态分区插入表 insert into table1 partition(part='part1') select * from table2; ALTER TABLE ADD/DROP PARTITION管理分区
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala,pyspark和java三种语言进行开发。 表格存储服务CloudTable相关介绍请参考《表格存储服务产品介绍》。 云搜索服务CSS相关介绍请参考《云搜索服务产品介绍》。
操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下: 通过OBS下载数据文件。 通过文本编辑器打开数据文件,发现数据量缺失。
message 否 String 系统提示信息,执行成功时,信息可能为空。示例值:空。
message 是 String 系统提示信息,执行成功时,信息可能为空。 table_count 是 Integer 表的总个数。 tables 是 Array of Objects 表的信息。具体参数请参见表4。
message 否 String 系统提示信息,执行成功时,信息为空。 id 否 String 连接ID,用于标识跨源连接的UUID。 name 否 String 创建连接时,用户自定义的连接名称。
message 否 String 系统提示信息,执行成功时,信息可能为空。 count 否 Long 总共条数。 elastic_resource_pools 否 Array of Objects 弹性资源池信息。详细请参考表4。
选择“作业管理 > Flink作业”。
选择“作业管理 > Flink作业”。
集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。