检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改表生命周期的时间 功能描述 修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时,会扫描表/分区会扫描路径下的表数据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。
动续费。 按需计费资源 对于按需计费模式的资源: 按需计费的弹性资源,若不再使用这些资源且需停止计费,请删除相应资源。 按需计费的数据存储仅在存储DLI表时计费,若不再使用这些资源且需停止计费,请删除相应资源。 按需计费的扫描量仅在使用default队列执行作业时候按扫描量计费,作业执行完成后停止计费。
s/{database_name}/tables/{table_name}/partitions 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name
插入数据至DCS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的DCS Key中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2...
在default队列执行DLI SQL失败,提示超时异常怎么办? 问题现象 使用default队列提交SQL作业,作业运行异常,排查作业日志显示Execution Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句,包括group by、join等场景时,常常会出现数据倾斜的问题,导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle
metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、快速检索等操作。可以是1个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建DLI表时,不需要指定timestamp和value字段,系统会
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 days 多版本中备份数据保留的日期。默认为7天,建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 示例
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。
日志配置文件(例如:“log4j.properties”或者“logback.xml”等) 日志输出实现类JAR包(例如:log4j等) 上传自定义配置到OBS的桶必须为主账号下所创建的OBS桶。 使用Flink1.15版本的计算引擎时,需要用户自行配置委托,否则可能影响作业运行。 详细操作请参考自定义DLI委托权限。
禁止或恢复表的生命周期 功能介绍 禁止或恢复指定表或分区的生命周期。 使用禁止或恢复表的生命周期有以下两种场景: 表或分区表开启了生命周期的功能,该功能可以禁止或恢复表的生命周期,即修改“dli.table.lifecycle.status”的参数值。 表或分区表未开启生命周期的
[ "dli:database:createTable" ], "Resource": [ "dli:*:*:database:*" ]
执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 问题现象 执行SQL查询语句,提示没有对应资源查询权限。 报错信息:DLI.0003: Permission denied for resource 'databases
Flink作业高可靠推荐配置指导(异常自动重启) 操作场景 本节操作介绍创建Flink作业时,配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
创建DLI表关联DCS 功能描述 使用CREATE TABLE命令创建DLI表并关联DCS上已有的Key。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表
0/{project_id}/databases/{database_name}/tables/{table_name}/users 参数说明 表1 URI 参数 参数名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 被查询的表所在的数据库名称。
创建表时指定表的生命周期 功能描述 DLI提供了表生命周期管理功能,在创建表时指定表的生命周期。DLI会根据每张表的最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期,可以帮助您更好的管理数目众多的表,自动清理长期不再使用的数据表,简化数据表的回收流程。同时支持数据恢复设置,避免因误操作丢失数据。
创建SQL作业的API执行超过时间限制,运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时,报如下错误信息: There are currently no resources tracked in the state, so there is nothing to