检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在提交导入作业前,可选择设置导入数据的分区并配置是否是overwrite写入,分区信息可以调用ImportJob对象的setPartitionSpec接口设置,如:importJob.setPartitionSpec(new
选择要操作的弹性资源池,在“操作”列,单击“添加队列”。 在“添加队列”界面,完成队列的基础信息配置。单击“确定”完成添加队列配置。 创建作业。 队列创建完成后,就可以使用弹性资源池中创建的队列进行作业配置。 公告发布日期:2023年11月21日 父主题: 产品公告
'SELECT'. 解决措施 出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表,查看权限管理,是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题: DLI权限管理类
确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。 去掉OBS依赖,否则checkpoint会写不进OBS。 父主题: Flink Jar作业类
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 关于分区表的使用说明: 创建分区表时,PARTITIONED BY中指定分区列必须是表中的列,且必须在Col
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 关于分区表的使用说明: 创建分区表时,PARTITIONED BY中指定分区列必须是表中的列,且必须在Col
[00:00,09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为:在任意一个时间段周期内,优先满足所有队列的最小CU数,剩余的CU(弹性资源池最大CU-所有队列的最小CU数之和)则根据配置的优先级顺序分配,直到剩余的CU数分配完成。 队列扩容成功
external.table.purge 否 仅OBS表支持配置该参数。 是否需要在删除表或分区时,清除path路径下的数据。默认不删除。 设置'external.table.purge'='true'时: 非分区OBS表配置删除文件后,表目录也会删除。 分区OBS表自定义分区数据也会删除。
external.table.purge 否 仅OBS表支持配置该参数。 是否需要在删除表或分区时,清除path路径下的数据。默认不删除。 设置'external.table.purge'='true'时: 非分区OBS表配置删除文件后,表目录也会删除。 分区OBS表自定义分区数据也会删除。
Spark SQL语法参考(即将下线) 批作业SQL常用配置项说明 批作业SQL语法概览 Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
是否强制重启,“action”为“restart”时可选择配置,默认为“false”。 cu_count 否 Integer 扩容或者缩容的cu数。“action”为“scale_out”或者“scale_in”时可选择配置。“cu_count”必须是16的倍数。 响应消息 表3 响应参数
FROM car_infos; 复杂类型嵌套 Json格式增强 以Source为例进行说明,Sink的使用方法相同。 支持配置Json_schema 配置了json_schema后,可以不声明DDL中的字段,自动从json_schema中生成。使用示例如下: CREATE SOURCE
DLI跨源表执行insert操作时,会将DWS源表删除重建,客户没有对应更新DLI端跨源表建表语句,导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表,并添加建表配置项 truncate = true(只清空表数据,不删除表)。 建议与总结 在更新跨源目的端源表后,必须同时更新对应DLI跨源表。 父主题:
FROM car_infos; 复杂类型嵌套 Json格式增强 以Source为例进行说明,Sink的使用方法相同。 支持配置Json_schema 配置了json_schema后,可以不声明DDL中的字段,自动从json_schema中生成。使用示例如下: CREATE SOURCE
将看到所需费用的明细,如图1所示。 图1 配置费用示例 根据所选配置包括弹性资源池CU范围,购买时长计算配置费用。 包年/包月:根据所选配置,弹性资源池CU范围和购买时长计算配置费用。 按需计费:根据所选配置,弹性资源池CU范围计算配置费用。 计费示例 价格仅供参考,实际计算请以DLI产品价格详情中的价格为准。
SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项: dli.sql.join.preferSortMergeJoin(是否优先使用SortMergeJoin) dli.sql
登录DLI管理控制台,单击“作业管理 > SQL作业”,对应SQL作业行的操作列,单击“编辑”按钮,跳转到“SQL编辑器”。 在“SQL编辑器”中,单击“设置”,参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题: SQL作业运维类
C Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A