检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
授权对象，和赋权API中的“object”对应。 "jobs.flink.flink作业ID"，查询指定的作业。 "groups.程序包组名"，查询指定的程序包组。 "resources.程序包名"，查询指定程序包。 说明： 查看分组下的程序包时，“object”的格式为"resources.程序包组名/程序包名"。
单字段，多字段，也可以是聚合函数，字符串函数等。 注意事项 所要分组的表必须是已经存在的表，否则会出错。 如果过滤条件受GROUP BY的查询结果影响，则不能用WHERE子句进行过滤，而要用HAVING子句进行过滤。HAVING与GROUP BY合用，先通过GROUP BY进行分
设置写入方式 Hudi通过hoodie.datasource.write.operation参数设置写入模式。 insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk_
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如，一个查询期望得到一个varchar类型的值，HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要，可以将值显式转换为指定类型。
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表，并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业（推荐） 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式：POST /v3/{project_
事务日志来跟踪这些文件，并通过读取所有 Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息，以提升转换后的 Delta 表的查询性能。 如果提供表名，则元存储也将更新，以反映该表现在是 Delta 表。 注意事项 分区表转换需要设置参数spark.sql.force
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。 示例 SELECT * FROM Orders INNER JOIN
ORDER BY 功能描述 按字段实现查询结果的全局排序。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference ORDER BY col_name [ASC | DESC] [,col_name [ASC | DESC]
ECT，EXCEPT）加括号，否则会出错。 示例 返回“SELECT * FROM student _1”查询结果与“SELECT * FROM student _2”查询结果的并集，不包含重复记录。 1 SELECT * FROM student_1 UNION SELECT *
join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。 示例 SELECT * FROM Orders INNER JOIN
join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。 示例 SELECT * FROM Orders INNER JOIN
打通网络。 步骤5：运行作业：DLI上创建和运行Flink OpenSource作业。 步骤6：发送数据和查询结果：RDS Postgres的表上插入数据，在DWS上查看运行结果。 步骤1：创建队列 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。
据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有： 查询作业状态 查询作业详细信息 查询作业结果-方式一（废弃） 导出查询结果 查询所有作业 取消作业（废弃） 该API当响应消息中“job_type”为“DCL”时，为同步操作。
API中除特殊说明外，通常为同步操作，即响应消息中的“is_success”为请求是否执行成功。 若API为异步操作，可根据响应消息中的“job_id”，执行查询作业状态API，从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用，SDK的使用方法请参见华为云开发工具包（SDK）。
从控制台获取项目ID的步骤如下： 登录管理控制台。 鼠标悬停在右上角的用户名，选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题： 公共参数
Hudi Clustering操作说明 什么是Clustering 即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hu
DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文档数据库
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
