检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置写入方式 Hudi通过hoodie.datasource.write.operation参数设置写入模式。 insert: 该操作不需要通过索引去查询具体更新的文件分区,因此它的速度比upsert快。当不包含更新数据时建议使用该操作,如果存在更新数据使用该操作会出现重复数据。 bulk_
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 PostgreSQL的版本不能低于PostgreSQL 11。 若Postgres表有update等操作,需要在PostgreSQL中执行下列语句。注意:test
可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致,可能会因为varchar类型不兼容,导致视图查询失败。 例如:使用Spark 3.x版本创建的表,建议您使用Spark 2.x创建相应的视图。 示例 先通过对student表中的id和name数据进行查询,并以该查询结果创建视图student_view。
更新程序包时提示权限不足怎么办? 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 为什么已有View视图的select权限,但是查询不了View? 提交作业时提示作业桶权限不足怎么办?
e(templateId); System.out.println(result); } 查询作业模板列表 DLI提供查询Flink作业模板的接口。您可以使用该接口查询作业模板列表。本示例排序方式选择降序desc,将会列出作业模板ID小于cursor的作业模板列表信息。示例代码如下:
2021-03-24 16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名
trans_array trans_array函数用于将一行数据转为多行的UDTF,将列中存储的以固定分隔符格式分隔的数组转为多行。 使用限制 所有作为key的列必须位于在前面,而要转置的列必须放在后面。 在一个select中只能有一个UDTF,不可以再出现其他的列。 不可以与group
Connector概述 表类型 源表:源表是Flink作业的数据输入表,例如Kafka等实时流数据输入。 维表:数据源表的辅助表,用于丰富和扩展源表的数据。在Flink作业中,因为数据采集端采集到的数据往往比较有限,在做数据分析之前,就要先将所需的维度信息补全,而维表就是代表存储数据维度信息的数据源。常见的用户维表有
创建CSS类型跨源认证 操作场景 通过在DLI控制台创建的CSS类型的跨源认证,将CSS安全集群的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问CSS安全集群。 本节操作介绍在DLI控制台创建CSS安全集群的跨源认证的操作步骤。 操作须知 已创建CSS安全集群,且集群满足以下条件:
DLI数据库和表类 为什么在DLI控制台中查询不到表? OBS表压缩率较高怎么办? 字符码不一致导致数据乱码怎么办? 删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 创建OBS外表,
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表,并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业(推荐) 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_
join 所指定的表在顺序执行中不会产生不支持的 cross join (笛卡儿积)以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置,以防止出现过多的状态。 示例 SELECT * FROM Orders INNER JOIN
化引擎,能够与大数据生态无缝融合,实现海量数据的秒级交互式查询。 DLI+HetuEngine能够快速处理大规模数据集的查询请求,迅速和高效从大数据中提取信息,极大地简化了数据的管理和分析流程,提升大数据环境下的索引和查询性能。 TB级数据秒级响应: HetuEngine通过自动
分组资源相关API(废弃) 上传分组资源(废弃) 查询分组资源列表(废弃) 上传jar类型分组资源(废弃) 上传pyfile类型分组资源(废弃) 上传file类型分组资源(废弃) 查询组内资源包(废弃) 删除组内资源包(废弃) 修改组或资源包拥有者(废弃) 父主题: 历史API
bucketName}.{obs域名}/{jarPath}/{jarName}。 description:资源包描述信息。 查询所有资源包 DLI提供查询资源列表接口,您可以使用该接口并选择相应的资源来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9
为“/v3/auth/tokens”。 query-string 查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“?limit=10”,表示查询不超过10条数据。 例如,您需要获取IAM在“华北-北京一”区域的T
具有复杂分组语法(GROUPING SETS、CUBE或ROLLUP)的查询只从基础数据源读取一次,而使用UNION ALL的查询将读取基础数据三次。这就是当数据源不具有确定性时,使用UNION ALL的查询可能会产生不一致的结果的原因。 --创建一个航运表 create table
请求参数 参数名称 是否必选 参数类型 说明 plan_ids 是 Array of Long 待删除的队列扩缩容计划的ID列表,具体获取请参考查看队列定时扩缩容计划(废弃)。例如:"plan_ids": [8,10]。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
is:"+ queue.getQueueName()); } 默认队列允许所有用户使用,DLI会限制用户使用默认队列的次数。 查询所有队列 DLI提供查询队列列表接口,您可以使用该接口并选择相应的队列来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 private
经典型跨源连接相关API(废弃) 创建经典型跨源连接 删除经典型跨源连接 查询经典型跨源连接列表 查询经典型跨源连接 父主题: 历史API