检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的包类型如下： JAR：用户jar文件 PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。 只支持选择文件。 分组设置 可选择“已有分组”，“创建新分组”或“不分组”。
DLI服务只支持UTF-8文本格式，因此在执行创建表和导入操作时，用户的数据需要以UTF-8编码。 在将数据导入DLI之前，确保源数据文件（如CSV、JSON等）是以UTF-8编码保存的。如果数据源不是UTF-8编码，请在导入前提前转换为UTF-8编码。 父主题： DLI数据库和表类
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新
'obs://....') using json：指定使用 JSON 格式。 options：用于设置表的选项。 path：指定OBS中JSON文件的路径。 父主题： SQL作业开发类
下载JDBC驱动包 操作场景 JDBC用于连接DLI服务，您可以在Maven获取JDBC安装包，或在DLI管理控制台下载JDBC驱动文件。 （推荐）方式一：在Maven获取JDBC安装包 单击DLI JDBC Driver中获取最新版本的JDBC安装包。 JDBC版本2.X版本功
使用提供的字符集（‘US-ASCII’，‘ISO-8859-1’，‘UTF-8’，‘UTF-16BE’，‘UTF-16LE’，‘UTF-16’）解码。 如果任一参数为空，则结果也将为空。 ENCODE(string1, string2) 使用提供的字符集（‘US-ASCII’，‘ISO-8859-1’，
DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time 接收到鉴权请求的时间。 说明： 以“ISO 8601”格式表示，例如：2012-11-11T23:59:59Z。 g:MFAPresent 全局级 Boolean 用户登录时是否使用了多因素认证。
container_xxx_000001归档日志文件夹示例 Spark Jar作业： Spark Jar作业的归档日志文件夹以“batch”开头。 图4 Spark Jar作业归档日志文件夹名示例 进入归档日志文件目录，在归档日志文件目录下，下载“gc.log.*”日志。 打开已下载的“gc.log.*”日志，搜索“Full
建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1 DLI获取访问凭据相关开发指南 类型 操作指导 说明 FLink作业场景 Flink
OBS表压缩率较高怎么办？ 当您在提交导入数据到DLI表的作业时，如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。 具体方法：在submit-job请求体conf字段中配置“dli.sql.files.ma
步骤。 View只能通过SQL语句进行创建，不能通过“创建表”页面进行创建。 注意事项 当OBS的目录下有同名文件夹和文件时，创建OBS表指向该路径会优先指向文件而非文件夹。 创建数据库和表时，有权限控制，需要对其他用户授权，其他用户才可查看该用户新建的数据库和表。具体请参考常用操作与系统权限关系。
参数类型 说明 data_path 是 String 导出结果存储的路径（当前仅支持将数据存储在OBS上）。另外，该路径下的文件夹须不存在，如请求样例中的“path”文件夹。 compress 否 String 导出数据的压缩格式，目前支持gzip，bzip2和deflate压缩方式； 默认值为none，表示不压缩。
指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 开启Kerberos认证时的相关配置文件 参考《从零开始使用Kerberos认证集群》中的“创建安全
法可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。 图1
单击所建桶“obs1”，进入“对象”页面。 勾选左侧列表中的“对象”，选择“上传对象”，将需要上传的文件“sampledata.csv”上传到指定目录，单击“上传”。 “sampledata.csv”样例文件可以通过新建“sampledata.txt”，复制如下英文逗号分隔的文本内容，再另存为“sampledata
使用限制 创建含有复杂数据类型字段的表时，该表存储格式不支持CSV（txt）。 如果表中含有复杂数据类型字段时，该表不支持CSV（txt）格式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。
使用限制 创建含有复杂数据类型字段的表时，该表存储格式不支持CSV（txt）。 如果表中含有复杂数据类型字段时，该表不支持CSV（txt）格式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。
跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联HBase之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。 如何添加IP域名映射，请参见《数据湖探索用户指南》中增强型跨源连接章节。
法可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。 图1
径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹。 说明： 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
