检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hbase维表 功能描述 创建Hbase维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则
Hbase维表 功能描述 创建Hbase维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则
字符串函数 字符串函数 数据湖探索（DLI）提供了丰富的字符串函数，用于处理和转换字符串数据。这些函数包括拼接、大小写转换、截取子串、替换、正则匹配、编码解码、格式转换等。此外，还支持字符串长度计算、位置查找、填充、反转等功能，以及从JSON字符串中提取值的JSON_VAL函数。这些功能广泛应用于数据清洗
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; --hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效，对于无效的UTF-8数据，函数可能会返回错误的结果。可以使用
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法
存储计费 DLI数据存储计费模式 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表。支持以下计费模式： 按需计费：按需计费是一种后付费模式，DLI支持使用按需计费模式购买数据存储。按照存储在DLI服务中的数据存储量（单位为“GB”）收取存储费用。计费方式自创建起按自然小时收费
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证，将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源
Flink作业常用操作 用户创建了新作业后，需要根据用户的实际需求对作业进行操作，包括编辑作业基本信息，启停作业、导入/导出作业等。 编辑作业 用户可以对已经创建的作业进行编辑，如修改SQL语句、作业名称和描述、作业配置信息等。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>
配置多版本过期数据回收站 功能描述 在DLI数据多版本功能开启后，过期的备份数据后续在执行insert overwrite或者truncate语句时会被系统直接清理。OBS并行文件系统可以通过配置回收站加速删除操作过期的备份数据。通过在表属性添加配置“dli.multi.version.trash.dir
创建CSS类型跨源认证 操作场景 通过在DLI控制台创建的CSS类型的跨源认证，将CSS安全集群的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问CSS安全集群。 本节操作介绍在DLI控制台创建CSS安全集群的跨源认证的操作步骤。 操作须知 已创建CSS安全集群，且集群满足以下条件
欠费说明 用户在使用DLI服务时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响云服务资源的正常运行，请及时充值。 欠费原因 已购买套餐包，但使用量超出套餐包额度，进而产生按需费用，同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包，为什么仍然产生按需计费
使用DLI提交SQL作业查询OBS数据 场景描述 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 本例新建“sampledata.csv”文件上传OBS桶，并新建弹性资源池队列，使用DLI创建数据库和表，使用DLI提供的SQL编辑器查询表的
scala样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放
跨源认证权限管理 操作场景 通过跨源认证的用户授权，可设置分配不同的跨源认证，且不同用户的作业不影响跨源认证的使用。 使用须知 管理员用户和跨源认证的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其跨源认证权限。 给新用户设置跨源认证权限时，该用户所在用户组具有Tenant
增强型跨源连接绑定弹性资源池 操作场景 如果其他弹性资源池想要通过已创建的增强型跨源连接来连接数据源，可以在增强型跨源连接页面绑定弹性资源池。本节的操作指导介绍增强型跨源连接绑定弹性资源池的操作指导。 约束限制 增强型跨源仅支持包年包月队列和按需专属的弹性资源池/队列。 绑定跨源的
API概览 本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全局变量
Hbase结果表 功能描述 DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值
基本概念 账号 用户注册华为账号并开通华为云。账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，
字符串函数 字符串函数 数据湖探索（DLI）提供了丰富的字符串函数，用于处理和转换字符串数据。这些函数包括拼接、大小写转换、截取子串、替换、正则匹配、编码解码、格式转换等。此外，还支持字符串长度计算、位置查找、填充、反转等功能，以及从JSON字符串中提取值的JSON_VAL函数。这些功能广泛应用于数据清洗
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
