检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3
图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码，是否有内存泄漏。 增加单TM所占的资源。 联系技术支持，修改集群心跳配置参数。 父主题： Flink作业性能调优类
队列相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static
Flink作业配置参数 对于Flink Jar作业，您需要在代码中开启Checkpoint，同时如果有自定义的状态需要保存，您还需要实现ListCheckpointed接口，并为每个算子设置唯一ID。然后在作业配置中，勾选“从Checkpoint恢复”，并准确配置Checkpoint路径。
Connector。详细操作请参考Flink OpenSource SQL1.15语法概览。 Flink 1.15需要配置租户面自定义委托，并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法： Flink OpenSource
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库
高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合，否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后，单击“立即购买”，确认配置信息无误后，单击“提交”完成队列创建。
SMN服务的主题URN，用于静态主题URN配置。作为消息通知的目标主题，需要提前在SMN服务中创建。 与“urn_column”配置两者至少存在一个，同时配置时，“topic_urn”优先级更高。 connector.urn-column 否 主题URN内容的字段名，用于动态主题URN配置。 与“topi
Database名称。如果未指定，将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中，IF EXISTS和db_name是可选配置。 在使用本语句删除外表时，OBS目录的数据不会自动删除。 删除MOR表时，后缀_rt表和后缀_ro表不会自动删除，如需删除需要额外执行DROP语句。
高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合，否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后，单击“立即购买”，确认配置信息无误后，单击“提交”完成队列创建。
注意：只有当用户开启动态扩缩时，该配置才有意义。 flink.dli.job.cu.max 用户CU初始值 该配置表示当前作业在进行动态扩缩时允许使用的最大CU数，如果用户未配置则默认值为该作业的初始总CU数。 注意：该配置值不能小于用户配置的总CU数，且只有当用户开启动态扩缩时，该配置才有意义。 flink
Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程
盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite.enabled=true，然后通过insert overwrite语句实现。
DATE_FORMAT (order_time, 'yyyyMMdd') from orderSource; 配置作业运行参数： 选择队列，并配置Flink版本至少为1.15。 配置权限足够的委托。 配置OBS桶。 开启Checkpoint，使用Hudi时必须开启Checkpoint。 提交作业并检查Flink
OpenSource SQL作业。 单击操作列的“编辑”，进入作业编辑页面。 在右侧的“运行参数”配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在自定义配置中配置委托信息，其中key为"flink.dli.job.agency.name"，valu
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后，备份数据默认保留7天，您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
on: Message stream modified (41) 解决方案 编辑“krb5.conf” 配置文件，将文件中所有“renew_lifetime = xxx”配置删除。重新创建和提交Spark作业。 父主题： 对接HBase
Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。 关于Python开发环境的配置请参考Python SDK环境配置。 DLI Python SDK依赖第三方库包括：urllib3
权。 Java SDK 支持 Java JDK 1.8 及其以上版本。关于Java开发环境的配置请参考Java SDK环境配置。 关于Java SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access
了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
