检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以在DLI中创建并管理多个Catalog，用于不同的元数据隔离。 数据库 下拉选择需要使用的数据库。如果没有可用数据库，此处显示“default”默认数据库。数据库创建操作详见在DLI控制台创建数据库和表。 说明： 如果SQL语句中指定了表所在的数据库，则此处选择的数据库无效。 设置 包括设置“参数设置”和“标签”。
数据类型 描述 使用格式 ARRAY 一组有序字段，使用指定的值构造ARRAY数组。可以为任意类型，要求所有字段的数据类型必须相同。 array(<value>,<value>[, ...]) 具体使用示例详见：ARRAY示例。 MAP 一组无序的键/值对，使用给定的Key和Va
type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取
DESCRIBE DATABASE| SCHEMA 语法 DESCRIBE DATABASE|SCHEMA [EXTENDED] schema_name 描述 DATABASE和SCHEMA在此处是等价的，可互换的，它们有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。
用户可以根据业务负载进行弹性扩缩容，能够基于作业的负载动态调整作业使用资源大小。 支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源connector之外，还提供开箱即用的connector，包括数据库（RDS、GaussDB）、消息队列（DMS）、数据仓库（DWS）、对象存储（OBS）
在DLI控制台修改表所有者 在实际使用过程中，开发人员创建了数据库和表，交给测试人员进行测试，测试人员测试完成后，再交给运维人员进行体验，在这种情况下，可以通过修改表的所有者，将数据转移给其他所有者。 修改表所有者 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需要修改的表对应数据库名，进入该数据库的“表管理”页面。
本示例演示的操作需要跨源连接RDS外部数据源，所以需要创建跨源连接。如果作业不需要连接外部数据源，则该步骤可以跳过。 登录RDS控制台，创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后，单击“新建数据库”，创建名称为“test2”的数据库。 在“tes
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 创建并管理SQL作业模板
约束限制 在DLI Console上执行UDTF相关操作时，需要使用自建的SQL队列。 不同的IAM用户使用UDTF时，除了创建UDTF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDTF函数。授权操作参考如下： 登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDTF
跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ Spark中没有datetime数据类型，其使用的是TIMESTAMP类型。 您可以通过函数进行转换。 例如： select cast(create_date as string)
查询所有表（废弃） 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃，不推荐使用。 URI URI格式： GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true
单击需删除表的数据库名，进入该数据库的“表管理”页面。 选中目标表，单击“操作”栏中的“更多 > 删除表”。 在弹出的确认对话框中，单击“是”。 在“SQL编辑器”页面删除表。 在SQL作业管理控制台的顶部菜单栏中，选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签，鼠标左键
Write Amplification（写放大） 高 低（取决于compaction策略） Hudi表使用约束与限制 Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法。但在使用DLI提供的元数据提交SparkSQL作业时，部分直接操作OBS路径的SQL语法暂不支持，详细说明请参考DLI
datasource.opentsdb DWS: sys.datasource.dws RDS MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DCS: sys.datasource.redis CSS: sys.datasource
column_name 示例 回收用户user_name1对于数据库db1的删除数据库权限。 1 REVOKE DROP_DATABASE ON databases.db1 FROM USER user_name1; 回收用户user_name1对于数据库db1的表tb1的SELECT权限。 1 REVOKE
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤：
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
数。 约束限制 在DLI Console上执行UDAF相关操作时，需要使用自建的SQL队列。 跨账号使用UDAF时，除了创建UDAF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDAF函数。 授权操作参考如下：登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDAF
GROUP BY中使用HAVING 功能描述 利用HAVING子句在表分组后实现过滤。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY groupby_expression[, groupby_expression…
在DLI使用Hudi提交Flink SQL作业 本节操作介绍在DLI使用Hudi提交Flink SQL作业的操作步骤。 具体语法说明请参考Flink OpenSource SQL1.15语法概览。 进入DLI控制台，随后单击左侧菜单的“作业管理 > Flink作业”，进入Flink作业的界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
