检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
message 否 String 系统提示信息,执行成功时,信息可能为空。 database_count 否 Integer 数据库的总数。 databases 否 Array of objects 数据库信息。具体参数请参见表4。
message 否 String 系统提示信息,执行成功时,信息可能为空。 queue_name 否 String 待修改定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 plan_id 否 Integer 待修改的队列扩缩容计划的ID。
系统响应 Table创建成功,创建的Hudi表可以进入DLI控制台,在左侧菜单栏选择”数据管理”->”库表管理”,随后筛选数据库并点击名称,进入表列表查询。 父主题: Hudi DDL语法说明
message String 系统提示信息,执行成功时,该值为空。 job_id String 作业ID。可通过提交SQL作业(推荐)获取。 job_type String 作业类型。
message 否 String 系统提示信息,执行成功时,信息可能为空。 partitions 否 Object 分区信息。请参考表4。 表4 partitions参数说明 参数名称 是否必选 参数类型 说明 total_count 是 Long 总个数。
avro.codec 否 (none) String 仅用于文件系统,avro 压缩编解码器。默认不压缩。目前支持:deflate、snappy、bzip2、xz。 数据类型映射 目前,Avro schema 通常是从 table schema 中推导而来。
message 是 String 系统提示信息,执行成功时,信息可能为空。 table_count 是 Integer 表的总个数。 tables 是 Array of Objects 表的信息。具体参数请参见表4。
message 否 String 系统提示信息,执行成功时,信息为空。 id 否 String 连接ID,用于标识跨源连接的UUID。 name 否 String 创建连接时,用户自定义的连接名称。
message 否 String 系统提示信息,执行成功时,信息可能为空。 count 否 Long 总共条数。 elastic_resource_pools 否 Array of Objects 弹性资源池信息。详细请参考表4。
表1 Spark Jar作业开发环境 准备项 说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具,版本要求使用2019.1或其他兼容版本。
API方式 如果用户需要将云平台上的DLI服务集成到第三方系统,用于二次开发,可以使用API方式访问DLI服务。 具体操作请参见《数据湖探索API参考》。 JDBC DLI支持使用JDBC连接服务端进行数据查询操作。具体内容请参考《数据湖探索开发指南》。
modules 否 Array of Objects 系统内置资源模块列表,模块详情请参考表5。 groups 否 Array of Objects 已上传的用户分组资源。 total 是 Integer 资源包返回总数。
弹性资源池队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。 当业务发生调整,对这部分CU没有使用需求时,请及时清理释放资源,否则扩容的CU会持续计费。 弹性资源池中的队列不计费,以弹性资源池作为计算资源的计费项。
message 是 String 系统提示信息,执行成功时,信息可能为空。 column_count 是 Integer 表的总列数。 columns 是 Array of Objects 表的列信息,包含列名称、类型和描述信息。具体参数详见表3。
source.id, comb = h0.comb + source.comb, price = source.price * 2 when matched and flag = true then delete when not matched then insert *; 系统响应
同时,按需计费的队列,在空闲1小时后(队列空闲是指该队列上没有正在运行的作业),系统会自动释放计算资源,再次使用时,需要重新分配计算资源,可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况,节省等待时间。
message 否 String 系统提示信息,执行成功时,信息可能为空。 connections 否 Array of Objects 跨源连接信息列表,详细信息请参考表4。 count 否 Integer 返回的跨源连接个数。
队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。因此,要注意如果业务没有需求的情况下,要及时清理释放资源,否则不管CU是否真正的使用,都会一直计费。
图2 按需计费的DLI资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响 当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态。