检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 查看某个非分区表的备份数据信息
在DLI数据多版本功能开启后,您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 恢复非分区表数据到指定版本的备份数据
您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id}/execute-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是
编辑“应用程序”,选择1上传的OBS地址。 图11 配置应用程序 Spark 3.3以下版本: 分别上传Jar包到OBS和DLI下。 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理
file_path 格式 无。 说明 文件路径,该路径是OBS路径。 父主题: 标示符
选择CSS。 用户名 安全集群的登录用户名。 用户密码 安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后,在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。
导入作业时,导入的数据是否包括列名。 delimiter 否 String 导入作业时,用户自定义数据分隔符。 quote_char 否 String 导入作业时,用户自定义引用字符。 escape_char 否 String 导入作业时,用户自定义转义字符。 date_format 否 String 导入作业时,指定表的日期格式。
确保执行作业的用户具备该作业桶的读写权限,或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。 获取DLI桶中的作业结果请参考《对象存储用户指南》中“对象管理 > 下载”。 导出作业结果到指定桶地址 除了使用默认桶存储作业结果,用户还可以导出作业
table_name 表名称。 obs桶多版本回收站目录 当前OBS表所在桶下的一个目录,您可以根据需要调整目录路径。比如当前OBS表所在路径为“obs://bucketName/filePath”,OBS表目录下已创建Trash目录,则该回收站目录可以指定为“obs://bucketName/filePath/Trash”。
保存作业日志”参数。 图1 保存作业日志 是,则执行3。 否,则运行日志不会转储OBS桶,需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作业日志”,在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flin
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 using 参数delta,定义和创建Delta table table_comment 表的描述信息。 location_path Delta表的存储位置,当前版本通过表名创建Delta表
String 作业脏数据策略。 “2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar通过该参数传入。 manager_cu_number
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 示例“myGroup/test
String obsTblName = "tablename"; String desc = "desc for table"; String dataPath = "OBS path"; //通过调用Database对象的createObsTable方法创建OBS表
Integer 空闲状态过期周期。 config_url 否 String 用户上传的config包OBS路径。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的程序包名,用户sql作业的udf jar通过该参数传入。 dirty_data_strategy
PARTITIONED BY (partColumnList) ] 通过表名创建,能通过show tables查到该表,当前版本必须制定location,且只能指定为obs路径;通过delta.`Obs路径`创建,不能通过show tables查到。 参数描述 表1 CREATE TABLE参数描述
作业脏数据策略。 “2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar包通过该参数传入。 manager_cu_number
原因分析 当前访问的DWS数据库连接已经超过了最大连接数。错误信息中,non-active的个数表示空闲连接数,例如,non-active为508,说明当前有大量的空闲连接。 解决方案 出现该问题时建议通过以下操作步骤解决。 登录DWS命令执行窗口,执行以下SQL命令,临时将所有non-active的连接释放掉。
调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/streaming/jobs/{job_id}/gen-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String
当前接口已废弃,不推荐使用。 URI URI格式: DELETE /v1.0/{project_id}/queues/{queue_name}/jobs/{job_id} 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。