检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 kind 是 String 分组资源文件的类型。 jar:用户jar文件。 pyFile:用户python文件。 file:用户文件。 modelFile:用户AI模型文件。 说明: 上传的
用户需要在代码里写入checkpoint才能开启。 作业模板 内置多个常见Flink SQL通用场景模板,帮助您快速了解和构建作业代码 暂无 企业安全 访问控制 与华为云IAM权限打通,支持多角色的访问控制 暂无 空间隔离 支持租户级和项目级的资源和代码隔离,满足多团队协作需求 暂无 父主题: DLI产品咨询类
key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。 sink.buffer-flush.max-rows 否 100 Integer
表1 参数说明 参数 是否必选 参数类型 说明 unixtime 是 BIGINT UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。 返回值说明 返回STRING类型的日期值,格式为yyyy-mm-dd hh:mi:ss。 unixtime值为NULL时,返回NULL。
oudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后,用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实
分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。
dli:table:delete。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 部分字段更新 create table h0(id int, comb int, name string, price int) using delta
示例:"myGroup/test.cvs,myGroup/test1.csv"。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中,“fileName”为需要访问的文件名,“ClassName”为需要访问该文件的类名。 ClassName.class.getClassLoader().getRe
table.identifier -- 是 Doris 表名,如:db.tbl。 username -- 是 访问 Doris的用户名。 password -- 是 访问 Doris的密码。 sink.label-prefix "" 是 Stream load导入使用的label前缀。2pc场景下要求全局唯一
Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问,有服务端使用证书。
示例 查询表dli_to_dws中的数据。 1 SELECT * FROM dli_to_dws limit 100; 父主题: 跨源连接DWS表
分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。
Clean操作并不是每次写数据时都会触发,至少需要满足两个条件: Hudi表中需要有旧版本的文件。对于COW表来说,只要保证数据被更新过就一定存在旧版本的文件。对于MOR表来说,要保证数据被更新过并且做过Compaction才能有旧版本的文件。 Hudi表满足hoodie.cleaner.commits
t模式行为一致。 non-strict模式,对主键表采用insert处理。 upsert模式,对于主键表的重复值进行更新操作。 在提交Spark SQL作业时,用户可以在设置中配置以下参数,切换bulk insert作为Insert语句的写入方式。 hoodie.sql.bulk
y=2.0} (1 row) --命名后的字段,可以通过域操作符"."访问 select col1.b from row_tb; -- HetuEngine --命名和未命名的字段,都可以通过位置索引来访问,位置索引从1开始,且必须是一个常量 select col1[1] from
分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。
user_id 否 String 用户ID。 user_name 否 String 用户名。 is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。 请求示例 无 响应示例
values_row ...]; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
values_row ...]; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。 connector.write.flush.max-rows 否 数