检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看表统计信息 修改表相关语法 添加列 分区表相关语法 添加分区(只支持OBS表) 重命名分区 删除分区 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) 导入数据相关语法 导入数据 插入数据相关语法 插入数据 清空数据相关语法 清空数据 导出查询结果相关语法 导出查询结果
风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式 create table jbdcTable ( attr_name attr_type (',' attr_name
terval时长更新一次输出结果。若没有设置,则默认没有使用周期触发策略。 lateness_interval 表示窗口结束后延迟lateness_interval时长,继续统计在窗口结束后延迟时间内到达的属于该窗口的数据,而且在延迟时间内到达的每个数据都会更新输出结果。 说明:
datasource_type String 数据源的类型。 create_time Int 创建时间戳。 update_time Int 更新时间戳。 krb5_conf String krb5配置文件obs路径。 keytab String keytab配置文件obs路径。 truststore_location
表,该模式与upsert模式行为一致。 non-strict模式,对主键表采用insert处理。 upsert模式,对于主键表的重复值进行更新操作。 在提交Spark SQL作业时,用户可以在设置中配置以下参数,切换bulk insert作为Insert语句的写入方式。 hoodie
查询资源实例列表 功能介绍 该接口用于查询资源实例列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resourc
据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
@Override //业务数据处理逻辑具体实现 /*in包括两个值,其中第一个值为布尔型,为true或false,当true时表示插入或更新操作,为false时表示删除操作,若对接的sink端不支持删除等操作,当为false时,可不进行任何操作。第二个值表示实际的数据值*/
不支持批量设置队列属性。 弹性资源池中的队列,当队列的最小CUs小于16CUs时,在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。 设置队列属性操作步骤 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 队列管理”。 在对应队列的“操作”列,选择“更多
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包,用户打包Spark或Flink jar作业jar包时,不需要额外上传这些依赖包,以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1
String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID,用于标识跨源连接的UUID。具体为创建增强型跨源连接返回的连接ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 queues 否 Array of
---- 2 3 5 (3 rows) 如以下真值表,演示了IS DISTINCT FROM和IS NOT DISTINCT FROM对正常数据和NULL值的处理结果: a b a = b a <> b a DISTINCT b a NOT DISTINCT b 1 1 TRUE
data_location 是 String 数据存储的地方,分OBS表、DLI表,View。 last_access_time 是 Long 最近更新时间。是单位为“毫秒”的时间戳。 location 否 String OBS表上的存储路径。 owner 是 String 表创建者。 table_name
is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 template 否 Object 作业更新信息。请参见表5 表5 template参数说明 参数名称 是否必选 参数类型 说明 template_id 否 Long 模板ID。 name
模板名称。 desc 否 String 模板描述。 create_time 否 Long 模板创建时间。 update_time 否 Long 模板更新时间。 sql_body 否 String Stream SQL语句。至少包含source、 query、sink三个部分。 job_type
job_submitting:提交中 job_submit_fail:提交失败 job_running:运行中(开始计费,提交作业后,返回正常结果) job_running_exception:运行异常(停止计费。作业发生运行时异常,停止运行作业) job_downloading:下载中
更多套餐包计费信息请参考套餐包计费。 本文将介绍按需计费的DLI数据扫描量计费的计费规则。 适用场景 DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。队列资源按需分配,按扫描量计费,适用于测试项目场景,资源消耗
√ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ × √ √ SCALE 扩缩容弹性资源池 √ × √ √ UPDATE 更新弹性资源池 √ × √ √ CREATE 创建弹性资源池 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的弹性资源池权限
network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。 url 是 String 对应服务对外提供的访问url。长度不能超过512个字符。获取方式请参考表4。 tags 否 Array of Objects 队列的标签。具体请参考表3。 表3
job_submitting:提交中 job_submit_fail:提交失败 job_running:运行中(开始计费,提交作业后,返回正常结果) job_running_exception:运行异常(停止计费。作业发生运行时异常,停止运行作业) job_downloading:下载中