检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Doris的地址测试队
需要清理无效数据文件的Hudi表的表名，必选。 op_type 命令运行模式，可选，默认值为dry_run，取值：dry_run、repair、undo、query。 dry_run：显示需要清理的无效数据文件。 repair：显示并清理无效的数据文件。 undo：恢复已清理的数据文件 q
本节操作介绍删除分区表的一个或多个分区。 分区表分为两种，OBS表和DLI表。在删除分区时，DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表，否则会出错。 所要删除的分区必须是已经存在的，否则会出错，可通过语句中添加“IF
用于CTAS命令，将源表的select查询结果或某条数据插入到新创建的DLI表中。 表2 OPTIONS参数描述 参数 是否必选 描述 默认值 multiLevelDirEnable 否 是否迭代查询子目录中的数据。当配置为true时，查询该表时会迭代读取该表路径中所有文件，包含子目录中的文件。 false
LakeCatMetastoreBasedLockProvider 关闭Hudi锁，或者使用其他的锁实现类时，存在数据丢失/异常的风险。 在任何情况下，DLI不对因关闭Hudi锁，或者使用与元数据服务不匹配的锁实现类，而直接或间接导致的任何形式的损失或损害承担责任，包括但不限于商业利润损失、业务中断、数据丢失或其他财务损失。
弹性资源池模式：计算资源的池化管理模式，提供计算资源的动态扩缩容能力，同一弹性资源池中的队列共享计算资源。通过合理设置队列的计算资源分配策略，可以提高计算资源利用率，应对业务高峰期的资源需求。 适用场景：适合业务量有明显波动的场合，如周期性的数据批处理任务或实时数据处理需求。 支持的队列类型：
Kerberos类型的跨源认证：适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka。 Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源。 跨源认证类型 DLI支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。
有两种方式可查看导入的数据。 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面，单击数据库名，在表管理界面对应表的“操作”栏选择“更多”中的“表属性”，在弹框的“预览”页签中，可查看导入的数据 在“SQL编辑器”的“数据库”页签中，单击数据库名称，进入对应的表列表，
日期和时间。仅支持ISO 8601格式：'2020-01-01' 32位 TIME 不带时区的时间（时、分、秒、毫秒） 例如：TIME '01:02:03.456' 64位 TIME WITH TIMEZONE 带时区的时间（时、分、秒、毫秒），时区用UTC值表示 例如：TIME '01:02:03
为每个Reader设置不同的Server ID 每个用于读取Binlog的MySQL客户端都应该有一个唯一的Server ID，确保MySQL服务器能够区分不同的客户端并维护各自的Binlog读取位置。 如果不同的作业共享相同的Server ID，可能会导致从错误的Binlog位置读取数据，从而引发数据不一致的问题。
return 表删除后，将不可恢复，请谨慎操作。 完整样例代码和依赖包说明请参考：Python SDK概述。 查询所有表 DLI提供查询表的接口。您可以使用该接口查询数据库下的所有表。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_tbls(dli_client
Integer MySQL数据库的端口号。 server-id 否 5400~6000随机值 String 数据库客户端的一个数字ID，该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup
g:UserId 全局级 String 当前登录的用户ID。 g:UserName 全局级 String 当前登录的用户名。 g:ProjectName 全局级 String 当前登录的Project。 g:DomainName 全局级 String 当前登录的Domain。 g:ResourceTag
将分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目，本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性资源池的企业项目，会同时修改弹性资源池下的队列资源的企业项目。 即弹
进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费：选择需要开通自动续费的资源，单击操作列“更多
取rid的值，查询key为city1，返回6。由于包含.，只能用['']来解析。 select get_json_object(json, "$['city1'].region['id']") from json_table where id =1; 取rid的值，查询key为city1，返回7。查询方法有如下两种。
添加数据时会修改大小至0。 如需查看表大小可以通过OBS查看。 CTAS建表语句不能指定表的属性。 OBS目录下包含子目录的场景： 创建表时，若指定路径为OBS上的目录，且该目录下包含子目录（或嵌套子目录），则子目录下的所有文件类型及其内容也是表内容。 您需要保证所指定的目录及其子目录下所有
column 分区列名。 value 分区列名对应的值。 version_id 指定版本号恢复备份数据。具体的版本号可以通过SHOW HISTORY命令获取，详情请参考查看多版本备份数据。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
RDS实例的用户名。 第二行凭据值的键为MySQLPassword，值为RDS实例的密码。 图1 设置凭据值 按需完成其他参数的配置后，单击“确定”保存凭据。 了解更多请参考创建通用凭据。 在DLI作业中使用DEW中创建的凭据 以Flink作业为例介绍使用DEW凭据的方法。 参考Flink
用于展示表或分区的详细信息。 可以使用规则运算表达式来同时匹配多个表，但不可用于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息，其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区，将给出指定分区的文件系统信息，而不是分区所在表的文件系统信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
