检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列 弹性资源池关联队列： 仅支持关联按需计费模式的队列（包括专属队列）。 队列和弹性资源池状态正常，资源未被冻结。 弹性资源池扩缩容
通过DLI跨源写DWS表，非空字段出现空值异常怎么办？ 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR:
下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK
配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通（增强型跨源连接） 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例：配置DLI与内网数据源的网络联通 典型场景示例：配置DLI 与公网网络连通 父主题： 数据迁移与数据传输
行超时异常错误 使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库 在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新
C连接字符串（内网）"，或者内网地址和内网端口访问，格式为"协议头://内网IP:内网端口/数据库名"，例如："jdbc:postgresql://192.168.0.77:8000/postgres"。 说明： DWS的连接地址格式为："协议头://访问地址:访问端口/数据库名"
内置依赖包请参考DLI内置依赖包。 其他依赖文件 用户自定义的依赖文件。其他依赖文件需要自行在代码中引用。 依赖文件的管理方式： 上传OBS管理程序包：提前将对应的依赖文件上传至OBS桶中。并在此处选择对应的OBS路径。 上传DLI管理程序包：提前将对应的依赖文件上传至OBS桶中，并在DLI管
配置dbt_project.yml文件 在项目根目录下创建或编辑 dbt_project.yml文件。 参考dbt_project.yml配置项目。 确保步骤2：配置DBT连接DLIprofile文件中已设置该项目的profiles.yml中定义的数据源名称。 图1 profile文件 图2 dbt_project
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dlilink 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图5所示。
使用增强型跨源时，如果DLI队列的网段和用户数据源的网段发生冲突，您可以通过修改网段操作更改包年包月队列的网段。 如果待修改网段的队列中有正在提交或正在运行的作业，或者该队列已经绑定了增强型跨源，将不支持修改网段操作。 本节操作仅适用于普通队列，不适用于弹性资源池队列。 修改队列网段步骤
C）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 使用须知 请勿将该OBS桶用作其它用途，避免出现作业结果混乱等问题。 OBS桶需要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，
x版本支持。推荐使用AK/SK认证方式。 （推荐）生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面，默认显示“项目列表”，切换到“管理访问密钥”页面。 单击左侧“新增访问密钥”按钮，输入“登录密码”和“短息验证码”。 单击“确定”，下载证书。
回收：当前用户可回收其他用户具备的该组的权限，但不能回收该组所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该组的权限。 程序包授权 图2 程序包授权 表2 程序包授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明： 该用户名称是已存在的IAM用户名称。
果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则：
0/16，单击“确定”完成安全组规则添加。 Kafka和CSS实例属于同一VPC和子网下？ 是，执行7。Kafka和CSS实例在同一VPC和子网，不用再重复创建增强型跨源连接。 否，执行5。Kafka和CSS实例分别在两个VPC和子网下，则要分别创建增强型跨源连接打通网络。 登录DLI管理控制台，在左侧导航栏单
Management，简称IAM）进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授权）
导出作业：导出该作业。 赋权：当前用户可将作业的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该作业的权限，但不能回收该作业所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该作业的权限。 为已有权限的用户赋予权限或回收权限。 在对应作业“用户权限信息”区域的用户列表中，选择
题添加订阅，选择不同方式（例如短信或者邮件等）进行订阅。订阅成功后，如果作业失败，则系统将会自动发送消息到您指定的订阅终端。 如果作业提交1分钟内立即失败，通常不会触发消息通知。 如果作业提交1分钟后失败，则系统将会自动发送消息到您指定的订阅终端。 操作步骤 在“资源管理 > 队
OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关，请根据自己的业务进行预估。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
