检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。 去掉OBS依赖，否则checkpoint会写不进OBS。 父主题： Flink Jar作业类
时0费用。 自动扩缩容：根据业务负载，对计算资源进行预估和自动扩缩容。 如何访问DLI 云服务平台提供了Web化的服务管理平台，既可以通过管理控制台和基于HTTPS请求的API（Application programming interface）管理方式来访问DLI，又可以通过JDBC客户端连接DLI服务端。
在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶，日志桶不能用于DLI的其他业务功能中。 确认桶是否应用于其他业务功能。 如果是，您可以在DLI管理控制台页面更改作业配置，选择其他未被占用的OBS桶用于DLI日志存储。 父主题： Spark作业运维类
访问DCS时，不支持复杂类型数据（Array、Struct、Map等）。 可以考虑以下几种方式进行复杂类型数据处理： 字段扁平化处理，将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取，并通过自定义函数进行编解码。 示例 指定table 1 2 3 4 5 6 7
如果系统预置的DLI权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考权限策略和授权项。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。
DLI经典型跨源连接下线（EOL）公告 公告说明 华为云计划于2024年06月30 00:00（北京时间）将DLI经典型跨源连接的相关功能下线（EOL）。 影响 DLI经典型跨源连接的相关功能下线（EOL）后，不再提供该功能任何技术服务与支持。 如果您正在使用DLI经典型跨源连接
的方式通知到华为账号的创建者。 欠费后影响 当您的账号因按需资源自动扣费导致欠费后，账号将变成欠费状态。欠费后，按需资源不会立即停止服务，资源进入宽限期。您需支付按需资源在宽限期内产生的费用，相关费用可在“管理控制台 > 费用中心 ＞ 总览”的“欠费金额”查看，华为云将在您充值时自动扣取欠费金额。
非分区表 单表数据总条数 = select count(1) from tablename（入湖时需提供）； 单条数据大小 = 平均 1KB（华为建议通过select * from tablename limit 100，得出100条数据的大小，再除以100得到单条平均大小） 单表数据量大小(G)
具体操作请参考SDK V3版本开发指南。 DLI SDK（服务自研）：是DLI服务自行开发的SDK，本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包（SDK）获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK
检验是否配置成功，运行cmd ，输入 python。运行结果，请参见图1，显示版本信息，则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error: Microsoft Visual C++ xx.x is required. Get it with Build
SQL需搭配lakeformation使用。详细内容请参考DLI对接LakeFormation。 HetuEngine简介 HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎，能够与大数据生态无缝融合，实现海量数据的秒级交互式查询。 DLI+HetuEngine能够快
使用标准SQL语句进行数据的查询和分析。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
的方式通知到华为账号的创建者。 欠费后影响 当您的账号因按需资源自动扣费导致欠费后，账号将变成欠费状态。欠费后，按需资源不会立即停止服务，资源进入宽限期。您需支付按需资源在宽限期内产生的费用，相关费用可在“管理控制台 > 费用中心 ＞ 总览”的“欠费金额”查看，华为云将在您充值时自动扣取欠费金额。
网且防火墙规则已开放连接端口。 数据源为云上服务RDS、MRS时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii.
包月两种不同的计费模式的消费情况。 此案例中的单价仅为示例，且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 计费模式 计算规则 付费周期 费用计算 按需计费（专属） 计算费用：计算费用=单价*CU数*小时数 1个月 计算费用：0
异常场景时，支持从checkpoint恢复。 但是如果修改了作业的运算逻辑，作业的计算逻辑已发生更改，不支持从checkpoint恢复。 应用场景 本文列举了一些常见的从checkpoint恢复的场景供您参考，如表1所示。 更多场景可以使用从checkpoint恢复的原则结合实际情况进行判断。
且防火墙规则已开放连接端口。 数据源为云上的DWS、MRS等服务时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii
公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii.
仅支持在创建Spark作业时，配置“应用程序”，从OBS选择作业所需的Jar包。 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 登录DLI控制台，选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”，选择1上传的OBS地址。 图11 配置应用程序 Spark 3
且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS等服务时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
