检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述：返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述：同strpos() 函数。 日期函数 本节中的函数使用与Teradata
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以
函数概览 DLI提供了的decode1、javahash、max_pt等函数的说明如下。 表1 其他新增函数说明 函数 命令格式 返回值 功能简介 decode1 decode1(<expression>, <search>, <result>[, <search>, <result>]
使用DLI分析电商BI报表 应用场景 某电商商城在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何利用BI工具从历史数据中找出商机，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理，需要配置参数： hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
修改主机信息 功能介绍 该API用于在跨源中修改数据源主机信息，仅支持全量覆盖。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}
CREATE TABLE AS SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。在使用由DLI提供的元数据服务时仅可创建外表，即需要通过LOCATION指定表路径。 命令格式 CREATE TABLE
增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 权限要求 增强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 可在服务授权中进行设置。 使用约束限制 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型
如何在DLI中运行复杂PySpark程序？ 数据湖探索（DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py
所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
DIS结果表 功能描述 DLI将Flink作业的输出数据写入数据接入服务（DIS）中。适用于将数据过滤后导入DIS通道，进行后续处理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型
所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1
enterprise_project_id 否 String 企业ID，不填默认为“0”。 tags 否 Array of Objects 队列的标签，使用标签标识云资源。包括“标签键”和“标签值”，具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版，配置该参数值为{"spec":"basic"}。
查询所有作业 功能介绍 该API用于查询当前project下的所有作业的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/jobs 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id
查询所有SQL样例模板（废弃） 功能介绍 该API用于查询所有SQL样例模板。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/sqls/sample 参数说明 表1 URI参数说明
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
弹性资源池CU设置 CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围，避免无限制的资源扩容风险。 例如，当前弹性资源池CU设置的最大CU为256CU，并且该弹性资源池添加了2个队列，2个队列扩缩容策略最小CU数为64CU，这时如果该弹性资源池再添加一个队列并且该队列最小C
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
