检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases
编写UDAF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台 选择刚上传到OBS的UDAF函数的Jar文件，由DLI进行纳管。 6 创建DLI的UDAF函数
Slot”：每个TaskManager包含的Slot数量。 OBS桶 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目录”。
示例说明：创建名为table2的DLI非分区表，您可以根据业务需求自定义列子段的原生数据类型： 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT、SMALLINT/SHORT、BIGINT/LONG、TINYINT。
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中，导出操作将在OBS服务新建文件夹，或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件，且文本格式仅支持UTF-8。 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。
查看赋权对象使用者权限信息 功能介绍 获取对象赋权用户的权限信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/authorization/privileges 参数说明： 表1 URI 参数 参数名称
ObsException: OBS servcie Error Message. Request Error: ... Cause by: ObsException: com.obs.services.exception.ObsException: OBSs servcie Error Message
该API为异步操作。 目前只支持从DLI表导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾，即，若桶名包含“.”， 则最后一个“.”不可以数字开头（例如：**.12abc 或 **.12）。
1.0-SNAPSHOT.jar”。 图10 生成Jar包 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理
块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序
等服务数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建Elasticsearch类型的CSS集群。具体创建CSS集群的操作可以参考创建CSS集群。
SQL作业使用咨询 DLI是否支持创建临时表？ 问题描述：临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中，只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(
LOAD数据到OBS外表报错：IllegalArgumentException: Buffer size too small. size 问题描述 在Spark SQL作业中，使用LOAD DATA命令导入数据到DLI表中时报如下错误： error.DLI.0001: Illeg
"https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar"; String description = "test for sdk"; // 调用DLIClient对象的uploadResources方法上传资源
Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Hive组件的MRS安全集群。创建MRS集群的操作详细可以参考创建MRS集群。
String 新增OBS表数据的类型，目前支持：Parquet、ORC、CSV、JSON和Avro格式。 说明： OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建
JOB); JobStatusResponse result = client.submitFlinkSqlJob(body); System.out.println(result); } 新建自定义作业 DLI提供新建Flink自定义作业的接口。您可以使用该接口创建一
系型数据库数据都可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建云数据库RDS的MySQL的数据库实例。具体创建RDS集群的操作可以参考创建RDS MySQL数据库实例。
功能描述 本节介绍FileSystem源表的定义，以及创建源表时使用的参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
