检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 sql 是 String 新增的SQL模板。 sql_name
0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 keyword 否 String 用于过滤SQL模板的关键字。
USER:限定后面的user_name是一个用户。 注意事项 privilege必须为赋权对象在resource中的已授权限,否则会回收失败。Privilege支持的权限类型可参见数据权限列表。 resource可以是queue、database、table、view、column,格式分别为: queue的格式为:queues
rivilege支持的权限类型可参见数据权限列表。 resource可以是queue、database、table、view、column,格式分别为: queue的格式为:queues.queue_name queue支持的Privilege权限类型可以参考下表: 操作 说明 DROP_QUEUE
ash类型存储到redis,其中key为:${table-name}:${ext-key},field名为列名。 说明: table存储模式:将connector.table-name、connector.key-column作为redis的key。redis的hash类型,每个
select_statement; 关键字 UNION:集合运算,以一定条件将表首尾相接,其中每一个SELECT语句返回的列数必须相同,列的类型和列名不一定要相同。 注意事项 UNION默认是去重的,UNION ALL是不去重的。 不能在多个集合运算间(UNION,INTERSECT,EXCEPT)加括号,否则会出错。
返回值的类型不同 说明: Spark SQL中的histogram_numeric函数返回一个结构体数组(x,y),不同版本的引擎x的类型不同。 Spark2.4.x:Spark 3.2或更早版本中,x为double类型。 Spark3.3.x:x类型等于函数输入值的类型。 升级引擎版本后是否对作业有影响:
projectId'='', 'dew.csms.version'='' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 dew.endpoint 是 无 String 指定要使用的DEW服务所在的endpoint信息。 获取地区和终端节点。 配置示例:'dew
job_type 是 String 作业类型。 DDL DCL IMPORT EXPORT QUERY INSERT schema 否 Array of Map 当语句类型为DDL时,返回其结果的列名称及类型。 rows 否 Array of objects 当语句类型为DDL时,直接返回其执行结果。
s 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 描述 name 否 String 模板名称。支持根据name进行模糊查询。
是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 作业ID。 job_type 否 String 作业类型,包含
date:必填。日期值,string类型。 使用的时间格式为yyyy-mm-dd hh:mi:ss,例如2021-08-28 00:00:00。 delta:必填。修改幅度,BIGINT类型。 datepart:必填。指定修改的单位,STRING类型常量。 date_sub date_sub(string
fields:适用于所有数据类型 fields-scores:适用于sorted set数据类型 array:适用于list、set、sorted set数据类型 array-scores:适用于sorted set数据类型 map:适用于hash、sorted set数据类型 schema-
结果表:按商品类别统计订单销售金额数据。 作业首先从订单数据源表读取实时订单数据,将订单数据流与商品商品类别信息维表关联起来,然后聚合统计订单总额,最后将统计结果写入结果表。 本例中订单表作为驱动源表输入,商品类别信息表作为静态维表,统计结果表作为作业最终输出。 Connector支持列表
println(table); return table; } DataType.DECIMAL的默认精度为(10,0),设置Decimal类型精度的方法如下: 1 Column c11 = new Column("c11", new DecimalTypeInfo(25,5), "test
getJobStatus()); System.out.println(jobResultInfo.getJobType()); } 查询SQL类型作业 DLI提供查询SQL类型作业的接口。您可以使用该接口查询当前工程下,在编辑框中提交的最近执行的作业的信息(即可用SQL语句提交的Job)。示例代码如下:
等协议。 端口:允许远端地址访问指定端口,取值范围为:1~65535。 本例中选择TCP协议,端口值不填或者填写为数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写获取的队列网段。 描述 安全组规则的描述信息,非必填项。
建立DLI与共享VPC中资源的网络连接 共享VPC简介 共享VPC是通过资源访问管理服务(RAM)将本账号的VPC资源共享给其他账号使用。例如,账号A可以将自己账号下创建的VPC和子网共享给账号B。在账号B接受共享以后,账号B可以查看到共享的VPC和子网,并可以使用该共享VPC和子网创建资源。
是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 作业ID。 job_type 否 String 作业类型,包含
table)\ .option("password", auth)\ .mode("Overwrite")\ .save() 保存类型:Overwrite、Append、ErrorIfExis、Ignore 四种 如果需要指定key,则通过“.option("key.column"