检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE table_name; 执行完上述命令后,再执行对应OBS分区表的数据查询即可。
ee8fe fail.the subnet could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。
non_equi_join_condition number partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression select_statement
03213 fail.the subnet could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤
0代表0%至100%。 name 否 String 创建连接时,用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。
0代表0%至100%。 name 否 String 创建连接时,用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
"msg": "deleted" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
数。 其中CDM集群的区域、虚拟私有云、子网、安全组、企业项目建议选择与数据源和DLI一致。 集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 更多CDM集群参数配置说明请参考创建集群。 确认无误后单击“立即购买”进入规格确认界面。 单击“提交”,系统开始自动创
说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 需要设置定时扩缩计划的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。名称长度为1~128个字符。 请求消息
Debezium CDC Canal CDC Maxwell CDC OGG CDC Raw 前提条件 确保已创建Kafka集群。 该场景作业需要运行在DLI的独享队列上,因此要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请
"message": "" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 取消成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
"message": "" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(推荐)
、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OB
"state":"Success"} 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API
show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables 查询Hive表的建表语句 show create table Hive表名 查询出来的建表语句需要做一些处理,建表语句要符合DLI的建表语法,再到具体的DLI上执行。
show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables 查询Hive表的建表语句 show create table Hive表名 查询出来的建表语句需要做一些处理,建表语句要符合DLI的建表语法,再到具体的DLI上执行。
、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OB
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。 RENAME:重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项