检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源连接创建慢，有以下几种可能： 购买DLI队列后，第一次进行绑定队列。通常需要等待5~10分钟，待后台拉起集群后，即可创建成功。 若刚刚对队列进行网段修改，立即进行绑定队列。通常需要等待5~10分钟，待后台重建集群后，即可创建成功。 父主题： 增强型跨源连接类
调整或者增加并行数 不支持 该操作修改了作业的并行数，即修改了作业的运行逻辑。 修改Flink SQL语句、Flink Jar作业等操作 不支持 该操作修改了作业对资源的算法逻辑。 例如原有的算法的语句是执行加减运算，当前需要恢复的状态将算法的语句修改成为乘除取余的运算，是无法从checkpoint直接恢复的。
DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink
提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息，如果没有，请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2：运行Spark作业，作业运行失败，作业日志中提示KrbException:
已成功：session运行成功 恢复中：正在恢复任务 创建时间 每个作业的创建时间，可按创建时间顺序或倒序显示作业列表。 最后修改时间 作业运行完成的时间。 操作 编辑：可修改当前作业配置，重新执行作业。 SparkUI：单击后，将跳转至Spark任务运行情况界面。 说明： 状态为“启动中”的作业不能查看SparkUI界面。
业。 修改Flink作业名称和描述信息 用户可以根据需要修改作业名称和描述。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 在需要修改名称和描述的作业对应的“操作”列中，单击“更多 > 名称和描述修改”，弹出“属性修改”页面。修改作业名称和描述。
中自动推导而得的。更多具体使用可参考开源社区文档：JSON Format。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式，这里应为'json'。
System.out.println(result); } 更新作业模板 DLI提供更新Flink作业模板的接口。您可以使用该接口修改一个Flink作业模板。示例代码如下： 1 2 3 4 5 6 7 public static void updateFlinkJobTemplate(DLIClient
管理Spark作业模板 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。
overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据，同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource（除Hudi外）表在执行数据修改类命令（例如insert into，load data）时由于数据源不支持事务性，在系统故障或队列资源重
业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则：
业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请
HBase。 在“增强型跨源”页面，单击该连接“操作”列中的“修改主机信息”，在弹出的对话框中，填写主机信息。 格式：“IP 主机名/域名”，多条信息之间以换行分隔。 MRS主机信息获取，详细请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 父主题： 增强型跨源连接类
交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION，执行引擎选择Spark，配置队列，数据目录，数据库，随后点击右上角的执行按钮，提交作业。 注意：由DLI提供元数据服务
禁止或恢复指定表或分区的生命周期。 使用禁止或恢复表的生命周期有以下两种场景： 表或分区表开启了生命周期的功能，该功能可以禁止或恢复表的生命周期，即修改“dli.table.lifecycle.status”的参数值。 表或分区表未开启生命周期的功能，使用禁止或恢复表的生命周期，则会增加“dli
客户在DLI中创建了DWS跨源连接和DWS跨源表，然后对DWS中的源表schema进行更新，执行DLI作业，发现DWS中源表schema被修改为更新前的形式，导致schema不匹配，作业执行失败。 原因分析 DLI跨源表执行insert操作时，会将DWS源表删除重建，客户没有对应
业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请
schema 是从 table schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式，这里应为'json'。
在对应作业“用户权限信息”区域的用户列表中，选择需要修改权限的用户，在“操作”列单击“权限设置”。 在作业“权限设置”对话框中，对当前用户具备的权限进行修改。详细权限描述如表1所示。 当“权限设置”中的选项为灰色时，表示您不具备修改此作业权限的权限。可以向管理员用户、作业所有者等具
对于单机实例，仅需选择单个可用区。 - 时区 由于世界各国家与地区经度不同，地方时也有所不同，因此会划分为不同的时区。时区可在创建实例时选择，后期可修改。 默认 性能规格 实例的CPU和内存。不同性能规格对应不同连接数和最大IOPS。 2vCPUs | 4GB 存储空间 如果存储类型为SS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
