检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器，这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数，用以控制数据发出速率。 fields
DLI更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。 授权DLI读写OBS的权限并不包含在的DLI委托dli_manag
mask_hash(string|char|varchar str) →varchar 描述：返回基于str的散列值。散列是一致的，可以用于跨表连接被屏蔽的值。对于非字符串类型，返回NULL。 select mask_hash('panda');
EXISTS] function_name AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数。 如果您需要了解创建自定义函数的步骤请参考自定义函数。 语法说明 IF NOT EXISTS 若该函数已经存在，则不会进行任何操作。
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
ENFORCED。 它申明了是否输入/出数据会做合法性检查（是否唯一）。Flink 不存储数据因此只支持 NOT ENFORCED 模式，即不做检查，用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的，Connector 在处理数据时需要自己保证语义正确。 注意:
ENFORCED。 它申明了是否输入/出数据会做合法性检查（是否唯一）。Flink 不存储数据因此只支持 NOT ENFORCED 模式，即不做检查，用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的，Connector 在处理数据时需要自己保证语义正确。 注意:
怎样将OBS表映射为DLI的分区表？ 场景概述 用户使用Flink SQL作业时，需要创建OBS分区表，用于后续进行批处理。 操作步骤 该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。
Hudi Archive操作说明 什么是Archive Archive用户清理Hudi表的元数据文件（位于.hoodie目录下，格式为 ${时间戳}.${操作类型}.${操作状态}，比如20240622143023546.deltacommit.request）。对Hudi表进行
权限需求 由DLI提供的元数据服务 SQL权限： database table CREATE_TABLE 来源表：SELECT 细粒度权限：dli:table:createTable, dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表，并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业（推荐） 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式：POST /v3/{project_
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更，如果用户代码里直接继承了该Logging，且编译时使用的是低版本的Spark，那么应用程序在Spark 2.3的环境中运行将会报java.lang
在作业列表中，单击对应的作业名称，然后在“运行日志”页签，可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业，请参考《数据湖探索用户指南》。 父主题： Flink作业咨询类
* 200) ELSE 0 END ) a GROUP BY a.Key; JOIN数据倾斜解决方案 登录数据湖探索管理控制台，选择“SQL作业”，在要修改的作业所在行的“操作”列，单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面，单击“
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table h0 add columns(ext0 string); alter
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔，所有key-value用逗号(,)连接。 如果key或value中含有逗号(,)，则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔，所有key-value用逗号(,)连接。 如果key或value中含有逗号(,)，则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有
当表继承了数据库的权限时，无需重复对表赋予已继承的权限。 因为继承的权限已经足够使用，重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时： 如果“用户授权”赋予表的权限与继承权限相同，系统会提示已有该权限无需重复操作。 通过“项目授权”赋予的权限与继承权限相同时，系统不再向您提醒重复的权限信息。
二：通过在Eclipse中导入JAR文件安装SDK。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面，单击选择所需的SDK链接，即可获取对应的SDK安装包。 表1 目录结构 名称 说明 jars SDK及其依赖的jar包。 maven-install 安装至本地Maven仓库的脚本及对应jar包。
当“checkpoint_enabled”为“true”时，该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时，该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
