检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询所有表(废弃) 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/tables
了解更多DLI委托权限请参考DLI委托权限。 选择dli_management_agency需要包含的权限后,并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
Hudi Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
和资源浪费。 如果资源配额限制满足不了用户的使用需求,可以通过工单系统来提交您的申请,并告知您申请提高配额的理由。 在通过审理之后,系统会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。 父主题: DLI资源配额类
Latency(查询时延) 低 高 Update cost (I/O)(更新时(I/O)开销) 高(重写整个parquet) 低 Parquet File Size(Parquet文件大小) 小(更新时(I/O)开销大) 大(更新时开销小) Write Amplification(写放大) 高
包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除
queue_scaling_policies 参数 是否必选 参数类型 描述 impact_start_time 是 String 生效开始时间。 impact_stop_time 是 String 生效结束时间。 priority 是 Integer 优先级。 min_cu 是 Integer 最小CU数量。
LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3 4 5 6 7 CREATE
通过“CU设置”调整CU范围:80CUs - 96CUs。 调整队列的CU范围、弹性资源池规格变更、弹性资源池的CU设置,均在下一个整点生效。 通过增加队列调整弹性资源池的实际CUs,立即生效。 CU设置时怎样调小CU范围最大值? 弹性资源池CU范围的最小值小于等于弹性资源池的实际CUs,如果想要调整的
LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3 4 5 6 7 CREATE
全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。 查看并了解更新委托的提示信息,单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后,在IAM控制台的委托列表中,可查看到dli_management_agency的委托信息。
注意事项 merge-on condition当前只支持主键列。 当前仅支持对COW表进行部分字段更新,且更新值必须包含预合并列,MOR表需要在Update语法中给出全部字段。 示例 部分字段更新 create table h0(id int, comb int, name string
Integer 策略优先级1-100,100优先级最高。 impact_start_time 否 String 生效开始时间。 impact_stop_time 否 String 生效结束时间。 min_cu 否 Integer 最小CU数量。 max_cu 否 Integer 最大CU数量。
总的Top-N数据,不会产生中间结果。窗口 Top-N 会在窗口结束后清除不需要的中间状态。 窗口 Top-N 适用于用户不需要每条数据都更新Top-N结果的场景,相对普通Top-N来说性能更好。通常,窗口 Top-N 直接用于窗口表值函数(Windowing TVFs)窗口 Top-N
”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 父主题: Python SDK环境配置
修改表生命周期的时间 功能描述 修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时,会扫描表/分区会扫描路径下的表数据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。
作业优先级的调整需要停止作业进行编辑,并提交运行才能生效。 对于Flink作业,请参考开启Flink作业动态扩缩容设置flink.dli.job.scale.enable=true开启动态扩缩容功能,再设置作业优先级。 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。 设置Flink Opensource
key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。 sink.buffer-flush.max-rows 否 100 Integer
连接ID”,赋予某增强型跨源连接的使用权限。 privileges 是 Array of strings 待赋权,回收或更新的权限列表。 说明: 若“action”为“update”,更新列表为空,则表示回收用户在该数据库或表的所有权限。 响应消息 表4 响应参数 参数名称 是否必选 参数类型