检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。
的 catalog 和名为 “db_name” 的数据库一起注册到 metastore 中。使用 db_name.table_name 的表将会被注册到当前执行的 table environment 中的 catalog 且数据库会被命名为 “db_name”；对于 table_name
VERSION：指定版本号。具体的版本号可以通过SHOW HISTORY命令获取，详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
id, 'a2', '2021-01-03' as dt, '19' as hh; 权限需求 由DLI提供的元数据服务 SQL权限： database table 无 INSERT_INTO_TABLE 细粒度权限：dli:table:insertIntoTable 由LakeFo
heckpoint文件恢复内部状态和消费位点，保证数据不丢失及聚合算子等内部状态的精确一致语义。同时，为了保证数据不重复，建议使用带主键数据库或者文件系统作为目标数据源，否则下游处理业务需要加上去重逻辑（最新成功Checkpoint记录位点到异常时间段内的数据会重复消费）。 图1
TBLPROPERTIES：TBLPROPERTIES子句给表添加key/value的属性。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 obs桶多版本回收站目录
col_name_list]] [LIMIT number]; 关键字 表1 SELECT关键字说明 参数 描述 ALL ALL关键字用于返回数据库所有匹配的行，包括重复的行。ALL关键字的后面只能跟*，否则执行语句会出错。 ALL是SQL语句的默认行为，通常不会被明确写出，如果不指定
单击“确定”，完成创建程序包。 创建UDF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 图11 选择队列和数据库 在SQL编辑区域输入下列命令创建UDF函数，单击“执行”提交创建。 CREATE FUNCTION TestSumUDF AS
String 创建连接时，用户指定的对端服务（CloudTable/CloudTable.OpenTSDB/MRS.OpenTSDB/DWS/RDS/CSS）。 create_time 否 Long 创建连接的时间。为UTC的时间戳。 queue_list 否 Array of Strings
本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全局变量、修改全局变量和查询所有全局变量。
在数据湖探索服务中创建表。 登录DLI控制台，左侧导航栏单击“SQL编辑器”，执行引擎选择“spark”，选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等，按表头意义在DLI上创建表，具体可以参考如下示例，其中amount列为费用。
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本（Spark通用队列场景）使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Spark3
AS：使用CTAS创建表。 参数说明 表1 参数描述 参数 是否必选 描述 db_name 否 Database名称。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 是 Database中的表名。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。匹配规则为：^(
单击“确定”，完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台，创建SQL队列和数据库。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数，单击“执行”提交创建。 如果该客户
IP2:PORT2"。 resource 指定在CSS关联的资源名，用"/index/type"指定资源位置（可简单理解index为database，type为table，但绝不等同）。 说明： ES 6.X版本中，单个Index只支持唯一type，type名可以自定义。 ES 7
表2配置参数。JDBC配置对象，除了在url中以分号间隔设置配置项外，还可以通过Info对象动态设置属性项，具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId? <key1>=<val1>;<key2>=<val2>…
precombine字段值可以保证数据的准确性，老数据不会覆盖新数据，也就是幂等写入能力。该字段可用选择的类型包括：业务表中更新时间戳、数据库的提交时间戳等。precombine字段不能有null值和空值，可以参考以下示例设置precombine字段： SparkSQL: //通
小文件过多：当一个表中的小文件过多时，可能会造成Driver内存FullGC。 登录DLI控制台，选择SQL编辑器，在SQL编辑器页面选择问题作业的队列和数据库。 执行以下语句，查看作业中表的文件数量。“表名”替换为具体问题作业中的表名称。 select count(distinct fn) FROM
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Flink1.15版本
CURRENT_TRANSFORM_GROUP_FOR_TYPE, CURRENT_USER, CURSOR, CURSOR_NAME, CYCLE, DATA, DATABASE, DATE, DATETIME_INTERVAL_CODE, DATETIME_INTERVAL_PRECISION, DAY, DEALLOCATE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
