检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 检查IAM权限。 如果SMN主题已经存在，但仍然提示不存在，请进入统一身份认证服务（IAM），选择对应子账户所在的用户组，确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。 确保您在DLI中配置的SMN主题名称和区
Kafka结果表 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集
该场景需要与ClickHouse建立增强型跨源连接，并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 建立增强型跨源连接，请参考《数据湖探索用户指南》中的“增强型跨源连接”章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建MRS的ClickHouse集群，集群版本选择MRS
限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建后自定义权限，但委托名称固定为dli_data_clean_agency。 请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围：
弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存）。弹性资源池的单位为CU，1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列， 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略，提高计算资源利用率。 DLI提供以下规格的计算资源，如表1所示。 表1 弹性资源池规格
配额是指云平台预先设定的资源使用限制，包括资源数量和容量等。设置配额是为了确保资源合理的分配和使用，避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求，可以通过工单系统来提交您的申请，并告知您申请提高配额的理由。 在通过审理之后，系统会更新您的配额并进行通知。关于配额的具体操作说明，请参见关于配额。
针对之前已创建的集群，其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台， 在左侧导航栏，选择“资源管理 > 弹性资源池”。 在弹性资源池资源列表中，选择待修改企业项目的资源，并单击操作列下“更多 > 分配至项目”。 在“分配至项目”页面，选择企业项目。 您还可以单击“新建企业项目”，前
该场景作业需要DLI与MySQL建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在
创建新表：创建一个新表，并定义新的表字段名称。 迁移数据：使用INSERT INTO ... SELECT语句将旧表的数据迁移到新表中。 删除旧表：在确保新表完全替代旧表并且数据迁移完成后，您可以删除旧表以避免表数据混淆。 父主题： DLI产品咨询类
为已有权限的用户赋予权限或回收权限。 在对应队列“权限信息”区域的用户列表中，选择需要修改权限的用户，在“操作”列单击“权限设置”。 在队列“权限设置”对话框中，对当前用户具备的权限进行修改。详细权限描述如表1所示。 当“权限设置”中的选项为灰色时，表示您不具备修改此队列权限的权限。可以向管理
Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName.class.getClassLoader().getResource("us
> SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
该场景作业需要DLI与MySQL建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在
实际情况设置ClickHouse集群所在安全组规则中的端口。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界
实际情况设置ClickHouse集群所在安全组规则中的端口。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界
池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息，包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。 进入弹性资源池列表页面，选择您需要查看的弹性资源池。 在列表页面的右上方单击
Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
句和参数设置信息，如果是 jar作业只可以看到参数设置信息。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。 在“作业详情”页签，用户可以查看作业的SQL语句、参数设置信息和总费用。
），有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时，对应生成的作业日志保存方式，包含以下三种情况： 提交失败，只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志，可以直接在管理控制台页面查看，具体如下： 在“作业管理”>“Flink作
DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
