检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI作业开发流程 本节内容为您介绍DLI作业开发流程。 创建IAM用户并授权使用DLI 如果您是企业用户，并计划使用IAM对您所拥有的DLI资源进行精细的权限管理，请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的
x版本 Spark2.4.x：log4j依赖1.x版本（社区不再支持）。 Spark3.3.x：log4j依赖2.x版本。 升级引擎版本后是否对作业有影响： 有影响 Spark3.3.x不支持v1表 说明： Spark2.4.x支持datasourcev1、datasourcev2表。Spark3
Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 问题现象 在“作业管理 > Flink作业”，对应作业“操作”列，选择“更多 > 权限管理”，对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。
配。 DLI接口返回的结果编码格式为“UTF-8”，在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如，参考如下实现对返回的response.content内容做编码格式转换，确保返回的中文格式不会乱码。 print(response.content.decode("utf-8"))
show() 示例3： 1 jdbcDF.select("id","name").where("id<4").show() selectExpr 对字段进行特殊处理。例如，可使用selectExpr修改字段名。示例如下： 将name字段取名name_test，age数据加1。 1 jdbcDF
进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源，对资源进行手动续费的操作。 图2 续费管理 所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 手动续费资源。
更新跨源目的端源表后，未同时更新对应跨源表，导致insert作业失败怎么办？ 问题现象 客户在DLI中创建了DWS跨源连接和DWS跨源表，然后对DWS中的源表schema进行更新，执行DLI作业，发现DWS中源表schema被修改为更新前的形式，导致schema不匹配，作业执行失败。
配额管理 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
管理DLI资源配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
成本。 企业中的业务模式较多且经常变化，成本管理员通常并不能全面及时了解花销较大的业务在哪里，哪些是合理的，哪些是不合理的，通过在DLI中对费用明细进行分析，可以及时发现企业花销不合理的地方，及时进行成本管理，进一步降低企业使用华为云的成本。
在DLI控制台删除表 根据实际使用情况，您可以通过删除表。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、表的所有者和具有删除表权限的用户可以删除表。 数据表删除后，将不可恢复，请谨慎操作。 删除表 删除表的入口有两个，分别在“数据管理”和“SQL编辑器”页面。
需付费。 取消的查询，按取消查询时扫描的总数据量计费。 若计算任务超时或失败，则当次计算不收取费用。 数据的存储方式（包括格式，是否压缩）对计算费用有直接的影响。 假设Parquet格式文件为原CSV文件大小的1/4，则数据扫描费用为原CSV文件扫描费用的1/4。 计费规则 表1
审计与日志 DLI对接云审计服务 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表详见
如何获取AK/SK？ 访问密钥即AK/SK（Access Key ID/Secret Access Key），表示一组密钥对，用于验证调用API发起请求的访问者身份，与密码的功能相似。用户通过调用API接口进行云资源管理（如创建集群）时，需要使用成对的AK/SK进行加密签名，确保
创建消息通知主题 操作场景 确定创建消息通知主题后，您可在消息通知服务的“主题管理”页面中，对相应的主题添加订阅，选择不同方式（例如短信或者邮件等）进行订阅。订阅成功后，如果作业失败，则系统将会自动发送消息到您指定的订阅终端。 如果作业提交1分钟内立即失败，通常不会触发消息通知。
WS时，需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。 图1 增强型跨源连接配置流程 配置DLI队列与公网网络连通 通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。
您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访问。IAM策略是优先考虑拒绝（deny）权限的，即使有允许（allow）权限，如果有拒绝权限存在，也会导致授权失败。 排查方案 在OBS管理控制台找到DLI作业桶。
在DLI控制台修改数据库所有者 在实际使用过程中，开发人员创建了数据库和表，交给测试人员进行测试，测试人员测试完成后，再交给运维人员进行体验，在这种情况下，可以通过修改数据库的所有者，将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个，分别在“数据管理”和“SQL编辑器”页面。
1.10、Flink1.11版本停止服务后，正在使用该版本的作业有哪些影响？ 在Flink 1.10、Flink1.11EOS时间后创建的对队列，在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Flink 1.10、Flink1.11执行作业，但作业执行过
24小时均收费。包年包月队列为专属队列。 AZ策略 采用双AZ策略创建的队列，当某个AZ不可用时，仍然能够从其他AZ正常访问数据，适用于对可用性要求较高的场景。 说明： 当前包年/包月计费模式和按需计费专属资源模式支持双AZ策略。 双AZ能提高您的数据可用性。 双AZ属性一旦启用，后续无法修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
