检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
`obs://bucket0/db0/delta_table1` SHALLOW CLONE delta_table0 VERSION AS OF 10; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DDL语法说明
cument将会被覆盖。 该特性可以用作容错解决方案。当插入数据执行一半时,DLI作业失败,会有部分数据已经插入到es中,这部分为冗余数据。如果设置了Document id,则在重新执行DLI作业时,会覆盖上一次的冗余数据。 es.net.ssl 连接安全CSS集群,默认值为false
queue支持的Privilege权限类型可以参考下表: 操作 说明 DROP_QUEUE 删除队列 SUBMIT_JOB 提交作业 CANCEL_JOB 终止作业 RESTART 重启队列 SCALE_QUEUE 扩缩容队列 GRANT_PRIVILEGE 队列的赋权 REVOKE_PRIVILEGE
select col1[1] from row_tb; -- 1 IPADDRESS IP地址,可以表征IPv4或者IPv6地址。但在系统内,该类型是一个统一的IPv6地址。 对于IPv4的支持,是通过将IPv4映射到IPv6的取值范围(RFC 4291#section-2.5
流量限制:DLI通过设置流量控制机制,防止服务过载并保持服务的稳定性。 跨AZ容灾:DLI云服务采用跨可用区容灾部署,减少单点故障的风险,提高系统的可用性和弹性。 备份恢复:DLI自动化的备份策略和恢复计划,确保在发生故障时可以迅速恢复服务和数据。 父主题: 安全
</dependency> 实现完成后将该类编译打包在Jar中,通过Flink OpenSource SQL作业编辑页的UDF Jar参数上传。具体Flink OpenSource SQL作业创建指导可以参考https://support.huaweicloud.com/usermanual-dli/dli_01_0498
Kafka实例时,不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。 步骤1:获取外部数据源的内网IP、端口和安全组 表2 各数据源信息获取 数据源 参数获取 DMS Kafka
fka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,开启checkpoint,并提交运行,其代码如下:
x-dependencies.jar。 DBeaver客户端安装包: DBeaver官网提供了针对不同操作系统的客户端安装包,单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息: 表1
型跨源连接,则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。 DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 权限要求 增
kafka的地址测试队列连通性(通用队列> 找到作业的所属队列> 更多> 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,开启checkpoint,并提交运行,其代码如下:
non-strict模式,对主键表采用insert处理。 upsert模式,对于主键表的重复值进行更新操作。 在提交Spark SQL作业时,用户可以在设置中配置以下参数,切换bulk insert作为Insert语句的写入方式。 hoodie.sql.bulk.insert
afka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,并提交运行,其代码如下: CREATE TABLE
使用Hive和Datasource(除Hudi外)表在执行数据修改类命令(例如insert into,load data)时由于数据源不支持事务性,在系统故障或队列资源重启后,可能会导致数据重复或数据不一致等问题。 为了避免这种情况,建议优先选择支持事务性的数据源,如Hudi类型数据源,该类
yException 通过DLI跨源写DWS表,非空字段出现空值异常怎么办? 更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败怎么办? RDS表有自增主键时怎样在DLI插入数据?
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
认证服务用户指南》中的创建用户组。 注意事项 如果需要查看主账号下数据库中的表,需要对当前子账号用户授权(显示权限),具体请参考常用操作与系统权限关系。 如果表被删除后,再重新创建同名的表,表权限不会继承,需要对操作该表的用户和项目重新进行权限赋予。 例如,testTable表给
表在OBS桶中插入的文件个数,同时,为了避免数据倾斜,在INSERT语句后可加上“distribute by rand()”,可以增加处理作业的并发量。例如: insert into table table_target select * from table_source distribute
dli_database:数据库 dli_package_resource:资源包(不支持指定有Module ID的内置资源包) dli_flink_job:Flink作业 请求参数 无 响应参数 表2 响应参数 参数 参数类型 描述 tags Array of objects 资源标签列表。请参考表3。 表3
务用户指南》中的创建用户组。 注意事项 如果需要查看管理员或者其他用户账号下的数据库,需要对当前用户授权(显示权限),具体请参考常用操作与系统权限关系。 数据库和表赋权对象具有层级关系,用户赋予上一层级的权限会自动继承到下一层级对象上,层级关系为:数据库>表>列。 数据库所有者、