检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} ] } 访问和使用OBS的权限策略 适用场景：DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 { "Version":
int>/<projectId>。因此您需要获取对应的Endpoint和项目编号。 在地区和终端节点获取DLI对应的Endpoint；在华为云页面上方菜单栏，单击用户名，然后在“我的凭证”页面获取项目编号。 示例：jdbc:dli://dli.cn-north-1.myhuaweicloud
OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务，用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project
Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明： 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云，才能进行授权操作。 权限设置 全选：所有的权限都勾选上。 查看作业详情：查看此作业的作业详情。 更新作业：编辑修改此作业。 删除作业：删除此作业。
SHOW语法使用概要 SHOW语法主要用来查看数据库对象的相关信息，其中LIKE子句用来对数据库对象过滤，匹配规则如下，具体示例可参看SHOW TABLES： 规则1：_可以用来匹配单个任意字符。 规则2：%可以用来匹配0个或者任意个任意字符。 规则3：* 可以用来匹配0个或者任意个任意字符。
直接输入路径或单击选择OBS的路径，如果没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹，如果建表路径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹。 说明： 路径同时支持文件和文件夹。 obs://DLI/sampledata
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表，OBS对象路径为OBS对象URL。 kind 是 String 分组资源文件的类型。 jar：用户jar文件。 pyFile：用户python文件。
String 该用户有权限的对象： “databases.数据库名.tables.表名”，用户在当前表上的权限。 “databases.数据库名.tables.表名.columns.列名”，用户在列上的权限。 示例值：databases.dsstest.tables.obs_231。 privileges
提示OBS Bucket没有授权怎么办？ DLI更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。
Slot”：每个TaskManager包含的Slot数量。 OBS桶 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目录”。
sv的分隔符，转义符等。 当OBS桶目录下有文件夹和文件同名时，加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时，在同一级中不要出现同名的文件和文件夹。 导出数据 DLI提供导出数据的接口。您可以使用该接口将DLI表中的数据导出到OBS中。示例代码如下： 1 2
创建目的端DLI数据源的连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
添加分区（只支持OBS表） 功能描述 创建OBS分区表成功后，OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景： 给OBS分区表插入对应的分区数据，数据插入成功后OBS表才会生成分区元数据信息，后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS分区表路
DLI Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时，对应生成的作业日志保存方式，包含以下三种情况： 提交失败，只会在submit-client下生成提交日志。
参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS
DLI是否支持导入其他租户共享OBS桶的数据？ DLI支持将同一个租户下子账户共享OBS桶中的数据导入，但是租户级别共享OBS桶中的数据无法导入。 DLI不支持导入其他租户共享的OBS桶中的数据，主要是为了确保数据的安全性和数据隔离。 对于需要跨租户共享和分析数据的场景，建议先将
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
重命名分区（只支持OBS表） 功能描述 重命名分区。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION：分区。
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中，主要设置如下参数： fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下： import logging from operator import
指定筛选条件删除分区（只支持OBS表） 功能描述 指定筛选条件删除分区表的一个或多个分区。 注意事项 该命令仅支持操作OBS表，不支持对DLI表进行操作。 所要删除分区的表必须是已经存在的表，否则会出错。 所要删除的分区必须是已经存在的，否则会出错，可通过语句中添加“IF EXISTS”避免该错误。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
