检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS
* 否 无 String 设置和传递任意 Kafka 的配置项。 “properties.”中的后缀名必须匹配在Apache Kafka中定义的配置键。 Flink 将移除 "properties." 配置键前缀并将变换后的配置键和值传入底层的 Kafka 客户端。例如，您可以通过
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。
会报错。 有效性检查 SQL 标准主键限制可以有两种模式：ENFORCED 或者 NOT ENFORCED。 它申明了是否输入/出数据会做合法性检查（是否唯一）。Flink 不存储数据因此只支持 NOT ENFORCED 模式，即不做检查，用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含
操作流程。 配置DLI与数据源网络连通：您可以参考配置DLI与数据源网络连通（增强型跨源连接）配置DLI与数据源的网络连通。 管理DLI具数据源的访问凭证： Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认
任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔，例如1小时左右生成一个Compaction计划的话，执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置的资源，v
schema-syntax取值约束详见schema-syntax取值约束说明。 deploy-mode 否 standalone String redis集群的部署模式，支持standalone、master-replica、cluster。默认为standalone。 retry-count 否 5 Integer
如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 JDBC结果表如果定义了主键，将以upsert模式与外部系统交换UPDATE/DELETE消息；否则，它将以append模式与外部系统交换消息，不支持消费UPDATE/DELETE消息。 创建Flink OpenSource
参考已购买套餐包，为什么仍然产生按需计费？识别产生按需计费的原因，并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包，在按需计费模式下账户的余额不足。 欠费影响 包年/包月 对于包年/包月DLI资源。如队列或弹性资源池，用户已经预先支付了资源费用，因此在账户出现欠费的情
Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程
schema-syntax取值约束详见schema-syntax取值约束说明。 deploy-mode 否 standalone String redis集群的部署模式，支持standalone、master-replica、cluster，默认standalone。 retry-count 是 5 Integer
在作业代码中配置Checkpoint相关参数，适用于Flink 1.15及历史Flink版本。 在DLI管理控制台的Jar作业配置界面开启Checkpoint，适用于Flink 1.15及更高的引擎版本。 Flink 1.15版本请勿重复在作业代码和Jar作业配置界面配置Check
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖。 涉及到mvn依赖 1 2 3 4
类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS
查看需要确认的作业详情，确认在扣费时间段内是否有以下操作： 是否使用自建的队列。 是否执行SQL作业。 如果使用了按需的弹性资源池下的队列执行作业，默认的计费模式是按CU时计费。 计费详情可参考《数据湖探索价格详情》。 如果使用的是default队列执行作业，则按照扫描量计费。 计费详情可参考《数据湖探索价格详情》。
（DLI）”，单击“下一步”。 图4 创建DLI数据源连接 配置目的端DLI数据源连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图5 配置DLI数据源连接参数 配置完成后，单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台，选择“集群管理”
String 作业类型。 DDL DCL IMPORT EXPORT QUERY INSERT job_mode 否 String 作业执行模式： async：异步 sync：同步 请求示例 无 响应示例 同步方式请求成功响应样例： { "is_success": true, "message":
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数
提交作业时配置 xxxx = true, 然后从DLI配置的作业桶中获取结果。结果在作业桶上的路径可以通过ShowSqlJobStatus接口返回值中的result_path来获取。结果的全量数据会自动导出到作业桶。 job_mode 否 String 作业执行模式： async：异步
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 如果您的SQL队列已开启作业结果保存至DLI作业桶，请务必在提交S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
