检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“数据库端口”，获取RDS数据库实例端口。 单击“连接信息”>“安全组”对应的安全组名称，跳转到RDS实例安全组管理界面。单击“入方向规则 > 添加规则”，优先级设置为“1”，协议选择“TCP”，端口选择RDS数据库实例端口，源地址填写DLI队列的网段。单击“确定”完成配置。
dli:elasticresourcepool:revokePrivilege √ × 创建数据库 POST /v1.0/{project_id}/databases dli:database:createDatabase √ × 删除数据库 DELETE /v1.0/{project_id}/databases/{database_name}
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全
搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。
OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务，用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project
创建OBS表需要指定OBS路径，且该路径需要提前创建。 完整样例代码和依赖包说明请参考：Python SDK概述。 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下： 1 2 3 4 5 6 7 8 def delete_tbls(dli_client, db_name):
); 描述 这条命令并不会将SCHEMA当前的内容移动到修改后的路径下，也不会修改与指定schema关联的表或分区，它只会修改新添加进数据库的表的上级目录。 示例 Create schema foo; --修改schema 存储路径 ALTER SCHEMA foo SET LOCATION
DLI权限分类 权限大类 权限小类 控制台操作 SQL语法 队列权限 队列管理权限 请参考队列权限管理 无 队列使用权限 数据权限 数据库权限 请参考在DLI控制台配置数据库权限和在DLI控制台配置表权限 请参考 《权限列表》。 表权限 列权限 作业权限 Flink作业 请参考配置Flink作业权限
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual
抛出异常”和“保存”。 “脏数据策略”选择“保存”时，配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 仅DIS数据源支持配置脏数据策略。 （可选）根据需要设置自定义配置。相关参数详情可以参考Flink作业调优。 图3 自定义配置 单击“保存”，保存作业和相关参数。
DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column DLI列
s中字段数量与CSS表的Schema字段数量不匹配时，系统将报错。 类型不一致时不一定报错，例如插入int类型数据，但CSS中Schema保存的是文本类型，int类型会被转换成文本类型。 不建议对同一张表并发插入数据，因为有一定概率发生并发冲突，导致插入失败。 示例 查询表“user”中的数据插入表“test”中。
以RDS数据源为例：在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取RDS内网地址。查看“连接信息”>“数据库端口”，获取RDS数据库实例端口。 在DLI管理控制台，单击“资源管理 > 队列管理”。 选择增强型跨源所绑定的资源池下的队列，单击操作列“更多 > 测试地址连通性”。
数量。 “单TM Slot”：每个TaskManager包含的Slot数量。 保存作业日志 否 设置是否将作业运行时的日志信息保存到OBS。 勾选后需配置下列参数： “OBS桶”：选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 作业异常告警
Flink 1.12版本说明 数据湖探索（DLI）遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化importJob对象，构造函数的入参包括队列、数据库名、表名（通过实例化Table对象获取）和数据路径 private static void importData(Queue queue,
表2配置参数。JDBC配置对象，除了在url中以分号间隔设置配置项外，还可以通过Info对象动态设置属性项，具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId? <key1>=<val1>;<key2>=<val2>…
mode("Append") \ .save() mode 有四种保存类型： ErrorIfExis：如果已经存在数据，则抛出异常。 Overwrite：如果已经存在数据，则覆盖原数据。 Append：如果已经存在数据，则追加保存。 Ignore：如果已经存在数据，则不做操作。这类似于SQL中的“如果不存在则创建表”。
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项： dli
Spark 2.4.5版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
