检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。
Hudi Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除
分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。
表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not
注意事项 merge-on condition当前只支持主键列。 当前仅支持对COW表进行部分字段更新,且更新值必须包含预合并列,MOR表需要在Update语法中给出全部字段。 示例 部分字段更新 create table h0(id int, comb int, name string
默认值是DEFAULT。 否则,Flink SQL将无法正确解析Debezium数据。 当配置为 FULL 时,更新和删除事件将完整包含所有列的之前的值。 当为其他配置时,更新和删除事件的“before”字段将只包含primary key字段的值,或者为 null(没有 primary
gatk。 { "paths": [ "https://xkftest.obs.xxx.com/txr_test/jars/spark-sdv-app.jar", "https://xkftest.obs.xxx.com/txr_test/jars/wordcount"
连接ID”,赋予某增强型跨源连接的使用权限。 privileges 是 Array of strings 待赋权,回收或更新的权限列表。 说明: 若“action”为“update”,更新列表为空,则表示回收用户在该数据库或表的所有权限。 响应消息 表4 响应参数 参数名称 是否必选 参数类型
heme都是HTTPS,而Endpoint在同一个区域也是相同,所以简洁起见将这两部分省略。 请求方法 HTTP请求方法(也称为操作或动词),可告知服务正在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST
SQL模板相关API 保存SQL模板 查看所有SQL模板 更新SQL模板 删除SQL模板
Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问,有服务端使用证书。
Flink作业模板相关API 新建模板 更新模板 删除模板 查询模板列表
Hbase表导入数据,executor报错:RegionTooBusyException 通过DLI跨源写DWS表,非空字段出现空值异常怎么办? 更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败怎么办? RDS表有自增主键时怎样在DLI插入数据?
跨源认证相关API 创建跨源认证 获取跨源认证列表 更新跨源认证 删除跨源认证
跨源认证相关API(废弃) 创建跨源认证(废弃) 获取跨源认证列表(废弃) 更新跨源认证(废弃) 删除跨源认证(废弃) 父主题: 历史API
事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、一月、一年),这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小,以更新数据为主,新增
String 队列名称。示例值:queue1。 user_name 是 String 被赋权用户名称。给该用户赋使用队列的权限,回收其使用权限,或者更新其使用权限。示例值:tenant2。 action 是 String 指定赋权或回收。值为:grant,revoke或update。当用户
createFlinkJarJob(body); System.out.println(result); } 更新SQL作业 DLI提供更新Flink SQL作业接口。您可以使用该接口更新Flink SQL作业,示例代码如下: 1 2 3 4 5 6 private static void
参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 使用组:使用该组的程序包。 更新组:更新该组内程序包,包含创建组内程序包。 查询组:查询组内程序包详情。 删除组:删除该组的程序包。 赋权:当前用户可将组的权限赋予其他用户。