检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI Flink 1.7版本停止服务（EOS）公告 公告说明 华为云于2022年12月31 00:00（北京时间）将DLI Flink 1.7版本停止服务（EOS）。 影响 DLI Flink 1.7版本停止服务（EOS）后，不再提供该软件版本相关的任何技术服务支持。建议您在执
请务必确保您的账户下已在文档数据库服务（DDS）里创建了DDS实例。 如何创建DDS实例，请参考《文档数据库服务快速入门》中“快速购买文档数据库实例”章节。 目前仅支持未开启SSL认证的集群实例，不支持副本集与单节点的类型实例。 该场景作业需要运行在DLI的独享队列上，请确保已创建DLI独享队列。 关于如何创建
请务必确保您的账户下已在文档数据库服务（DDS）里创建了DDS实例。 如何创建DDS实例，请参考《文档数据库服务快速入门》中“快速购买文档数据库实例”章节。 目前仅支持未开启SSL认证的集群实例，不支持副本集与单节点的类型实例。 该场景作业需要运行在DLI的独享队列上，请确保已创建DLI独享队列。 关于如何创建
当您使用insert overwrite语句覆盖分区表的数据时，如果发现它覆盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite
访问和使用OBS的权限策略 适用场景：DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 { "Version": "1.1", "Statement":
获取Spark作业委托临时凭证用于访问其他云服务 功能描述 DLI提供了一个通用接口，可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
勾选“作业异常告警”，选择1中创建的“SMN主题”。配置该参数，可以在作业异常情况下，向用户指定邮箱或者手机发送消息通知，方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”，依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然
键字。 使用hive语法的DLI Lakehouse表 使用hive 方言：表属性中需要添加'is_lakehouse'='true'。 开启checkpoint功能。 建议切换到Hive方言来创建Hive兼容表。如果您想用默认的方言创建Hive兼容表，确保在您的表属性中设置'c
"area_county_name":"c3","area_street_name":"d3","region_name":"e1"} 常见问题 若在windows环境中向redis中写入中文时，会导致写入数据异常，请避免此情况。 父主题： 创建维表
已创建包含Kafka组件的MRS安全集群。具体创建MRS集群的操作可以参考创建MRS集群。 本示例创建的MRS集群版本为：MRS 3.1.0。 本示例创建的MRS集群开启了Kerberos认证。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库，则需要通过公网
已创建包含Kafka组件的MRS安全集群。具体创建MRS集群的操作可以参考创建MRS集群。 本示例创建的MRS集群版本为：MRS 3.1.0。 本示例创建的MRS集群开启了Kerberos认证。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库，则需要通过公网
勾选“作业异常告警”，选择1中创建的“SMN主题”。配置该参数，可以在作业异常情况下，向用户指定邮箱或者手机发送消息通知，方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”，依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然
本示例创建的MRS集群和各组件版本如下： MRS集群版本：MRS 3.1.0 Hive版本：3.1.0 Hadoop版本：3.1.1 本示例创建MRS集群时开启了Kerberos认证。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库，则需要通过公网
本示例创建的MRS集群和各组件版本如下： MRS集群版本：MRS 3.1.0 Hive版本：3.1.0 Hadoop版本：3.1.1 本示例创建MRS集群时开启了Kerberos认证。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库，则需要通过公网
方言：表属性中需要添加'is_lakehouse'='true'。 创建Flink OpenSource SQL作业时，在作业编辑界面配置开启checkpoint功能。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
怎样配置DLI队列与数据源的网络连通？ 为什么DLI增强型跨源连接要创建对等连接？ DLI创建跨源连接，绑定队列一直在创建中怎么办？ 新建跨源连接，显示已激活，但使用时提示communication link failure错误怎么办？ 跨源访问MRS HBase，连接超时，日志未打印错误怎么办？
obs_bucket String 保存Spark作业的obs桶，需要保存作业时配置该参数。 auto_recovery Boolean 是否开启重试功能，如果开启，可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times Integer 最大重试次数。最大值为“100”，默认值为“20”。
CPU核数）} x1 driver所占CUs数=max [（ driver内存÷4）， driver CPU核数] x1 Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 >
2021-03-2512:03:00,0002,Bob,330110) 示例（适用于Kafka集群已开启SASL_SSL场景） 示例1：DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群，开启SASL_SSL，并下载SSL证书，将下载的证书client.jks上传到OBS桶中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
