检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS
允许DLI读写OBS将日志转储 自定义 DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 访问和使用OBS的权限策略 允许DLI在访问DEW获取数据访问凭证
成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义
确保执行作业的用户具备该作业桶的读写权限，或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。 获取DLI桶中的作业结果请参考《对象存储用户指南》中“对象管理 > 下载”。 导出作业结果到指定桶地址 除了使用默认桶存储作业结果，用户还可以导出作业
path = "obs://obs-sink/car_infos", encode = "parquet", ak = "{{myAk}}", sk = "{{mySk}}" ); 数据最终在OBS中的存储目录结构为：obs://obs-sink/car
DLI表的数据存储在DLI服务内部，查询性能更好，适用于对时延敏感类的业务，如交互类的查询等。 库表管理中表的列表页面，表类型为Managed的即代表DLI表。 OBS表 OBS表的数据存储在OBS上，适用于对时延不敏感的业务，如历史数据统计分析等。 OBS表通常以对象的形式存储数据，每个对象包含数据和相关的元数据。
确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator（全局服务）。 写入数据到OBS的桶必须为主账号下所创建的OBS桶。 使用Flink1.15版本的计算引擎时，需要用户自行配置委托，否则可能影响作业运行。
下载数据源的认证凭证。 登录MRS Manager界面。 选择“系统 > 权限 > 用户”。 单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。
name=agencyname 更多Flink jar 使用DEW获取访问凭证读写OBS示例请参考Flink Jar 使用DEW获取访问凭证读写OBS 步骤4：创建自定义委托允许DLI访问DEW读取凭证 登录管理控制台。 单击右上方登录的用户名，在下拉列表中选择“统一身份认证”。 在左侧导航栏中，单击“委托”。
导出数据（废弃） 功能介绍 该API用于从DLI表中导出数据到文件。 该API为异步操作。 目前只支持从DLI表导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾，即，若桶名包含“.”， 则最后一个“.”不可以数字开头（例如：**
name=agencyname 更多Spark Jar 使用DEW获取访问凭证读写OBS示例请参考Spark Jar 使用DEW获取访问凭证读写OBS 步骤4：创建自定义委托允许DLI访问DEW读取凭证 登录管理控制台。 单击右上方登录的用户名，在下拉列表中选择“统一身份认证”。 在左侧导航栏中，单击“委托”。
重命名分区（只支持OBS表） 功能描述 重命名分区。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION：分区。
构造请求 本章节介绍REST API请求的组成，并以调用IAM服务的获取用户Token来说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？ 问题现象 创建OBS外表，因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如，当前创建的OBS外表语句为： CREATE TABLE test06 (name string, id
使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后
S，DDS，DWS，MRS，RDS等。 DLI表与OBS表有什么区别？ DLI表表示数据存储在本服务内部，用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中，源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能，性能相较于外表性能更好，但是会收取存储费用。
角色。目前只支持： obs_adm：DLI获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（表格存储服务）的CloudTable
香港、曼谷等其他地区和国家提供国际带宽，主要面向非中国大陆地区的用户。如果您或者您的目标用户在中国大陆，使用这些区域会有较长的访问时延，不建议使用。 在除中国大陆以外的亚太地区有业务的用户，可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户，可以选择“南非-约翰内斯堡”区域。
OBS表压缩率较高怎么办？ 当您在提交导入数据到DLI表的作业时，如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。 具体方法：在submit-job请求体conf字段中配置“dli.sql.files.ma
kind：资源包类型，当前支持的包类型分别为： jar：用户jar文件 pyfile：用户Python文件 file：用户文件 modelfile：用户AI模型文件 obs_jar_paths：对应资源包的OBS路径，参数构成为：{bucketName}.{obs域名}/{jarPath}/{jarName}。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
