检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建分区表时,分区字段必须是表字段的最后一个字段或几个字段,且多分区字段的顺序也必须对应。否则将出错。 单表分区数最多允许200000个。 2024年1月后新注册使用DLI服务的用户,且使用Spark3.3及以上版本的引擎,在使用DataSource语法创建表时支持使用CTAS创建分区表。 语法格式
为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS,使用DLI将CSV数据转换为Parquet数据,并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤: 步骤1:创
概念和使用限制,有助于您更准确地匹配实际业务。 产品介绍 什么是DLI 应用场景 使用限制 与其他云服务的关系 03 入门 购买DLI队列后,您可以运行SQL作业和Spark作业,开启您的数据湖探索使用之旅。 使用前须知 准备工作 权限管理 入门操作指导 提交SQL作业 提交Spark作业
rtime - INTERVAL '10' SECOND AND rtime + INTERVAL '5' SECOND 示例 所有在收到后四小时内发货的 order 会与它们相关的 shipment 进行 join。 SELECT * FROM Orders o, Shipments
rtime - INTERVAL '10' SECOND AND rtime + INTERVAL '5' SECOND 示例 所有在收到后四小时内发货的 order 会与它们相关的 shipment 进行 join。 SELECT * FROM Orders o, Shipments
rtime - INTERVAL '10' SECOND AND rtime + INTERVAL '5' SECOND 示例 所有在收到后四小时内发货的 order 会与它们相关的 shipment 进行 join。 SELECT * FROM Orders o, Shipments
auth.BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1
状态码 状态码如表6所示。 表6 状态码 状态码 描述 201 上传成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)
如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: CREATE SINK STREAM test(c_timeminute
rtime - INTERVAL '10' SECOND AND rtime + INTERVAL '5' SECOND 示例 所有在收到后四小时内发货的 order 会与它们相关的 shipment 进行 join。 SELECT * FROM Orders o, Shipments
如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: CREATE SINK STREAM test(c_timeminute
rtime - INTERVAL '10' SECOND AND rtime + INTERVAL '5' SECOND 示例 所有在收到后四小时内发货的 order 会与它们相关的 shipment 进行 join。 SELECT * FROM Orders o, Shipments
数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。需用户自行在IAM创建名为dli_data_clean_agency的DLI云服务委托并授权。 该委托需新建后自定义权限,但委托名称固定为dli_data_clean_agency。 委托的权限策略示例请参考常见场景的委托权限策略。 其他自定义委托 自定义委托
(7.5)=8.0,bround(6.5)=6.0 bround bround(DOUBLE a, INT d) DOUBLE 保留小数点后d位,d位之后数字以HALF_EVEN模式四舍五入。与传统四舍五入方式的区别在于,对数字5进行操作时,由前一位数字来决定,前一位数字为奇数,
在“程序包管理”页面,选择要程序包组或程序包,单击“操作”列中的“权限管理”。 进入“用户权限信息”页面,单击对应子用户“操作”列中的“回收”将删除该用户的权限。 回收后该子用户将不具备该程序包组或程序包的任意权限。 如果创建程序包时选择了分组,则回收的是对应程序包组的权限。 如果创建程序包时选择了不分组,则回收的是对应程序包的权限。
状态码 状态码如表9所示。 表9 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 增强型跨源连接相关API
(7.5)=8.0,bround(6.5)=6.0 bround bround(DOUBLE a, INT d) DOUBLE 保留小数点后d位,d位之后数字以HALF_EVEN模式四舍五入。与传统四舍五入方式的区别在于,对数字5进行操作时,由前一位数字来决定,前一位数字为奇数,
1到0.5为LOW,超过0.5则为HIGH。 时延 Source端会周期性地发送带当前时间戳的LatencyMarker,下游算子接收到该标记后,通过当前时间减去标记中带的时间戳的方式,计算时延指标。算子的反压状态和时延可以通过Flink UI或者作业任务列表查看,一般情况下反压和高时延成对出现:
状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 导出成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
g1, string2, string3) 返回 STRING1 所有与正则表达式 STRING2 匹配的子字符串被 STRING3 替换后的字符串。 例如 'foobar'.regexpReplace('oo|ar', '') 返回 "fb"。 OVERLAY(string1 PLACING