检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用 JSON 序列化消息。 Flink 支持将 Ogg JSON 消息解析为 INSERT/UPDATE/DELETE
前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别
前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别
弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行，尽量满足队列按最大CU运行。 规格（包周期CU）：购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费，规格之外的部分按需计费。 父主题： 管理弹性资源池
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。 当指定Hu
资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算资源按租户隔离，数据权限控制到队列、作业，帮助企业实现部门间的数据共享和权限管理。 Serverless DLI DLI完全兼容Apache Spark、Apache Flink生态和接口，是集实时分析、离线
前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别
数据库名”，数据库下面的所有数据都将被共享。 “databases.数据库名.tables.表名”，指定的表的数据将被共享。 “databases.数据库名.tables.表名.columns.列名”，指定的列将被共享。 “jobs.flink.flink作业ID”，指定的作业将被共享。 “groups
可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。 图1
区域和可用区用于描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region
LI一致。 集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。 更多CDM集群参数配置说明请参考创建集群。 确认无误后单击“立即购买”进入规格确认界面。 单击“提交”，系统开始自动创建CDM集群，在“集群管理”界面可查看创建进度。 步骤2：创建数据源与CDM的数据连接
包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？ DLI暂不支持变更资源的计费模式。 请您根据业务场景提前做好资源规划，如资源消耗较大，建议您选择包年/包月或购买套餐包的形式更加优惠。 自建队列购买方式如下： 购买队列请参考创建队列。 弹性资源池购买方式如下： 具体弹
管理子网的网段。 cidr_in_subnet 否 String 子网网段。 resource_mode 否 Integer 资源模式。 0：共享队列 1：专属队列 platform 否 String 队列计算资源的cpu架构。 x86_64 aarch64 is_restarting
CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink 1.12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响？ DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到Flink 1.12版本？ 在DLI管理
间建立连接的次数。 从而减轻网络延迟所带来的额外时间开销。 doris.exec.mem.limit 2147483648 否 单个查询的内存限制。默认为 2GB，单位为字节。 doris.deserialize.arrow.async FALSE 否 是否支持异步转换 Arrow
取值范围：1-500000 默认值：5000 是 select * from 分区表 running_0002 Memory used(MB) SQL的占用内存峰值超绝对值限制。 running spark 熔断 取值范围：1-8388608 否 NA running_0003 Run time(S)
file.max.bytes的值较大时，启动Clustering执行需要提高--executor-memory，否则会导致executor内存溢出。 Clean不支持清理Clustering失败后的残留文件。 Clustering后产生的新文件大小不等，这可能引起数据倾斜。 Cl
当前仅适用于在默认default队列中提交作业按扫描数据量计费。 CU是弹性资源池的计价单位。 1CU= 1Core 4GMem。不同规格对应的计算能力不一样，规格越高计算能力越好。 default队列中提交作业按扫描数据量计费。 计费模式 DLI在不同的计费项下有不同的计费模式，具体详见表2说明。
配分区。 展示的信息将包括表的基本信息和相关的文件系统信息，其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区，将给出指定分区的文件系统信息，而不是分区所在表的文件系统信息。 参数说明 IN | FROM schema_name
Schema演进语法说明 功能介绍 该能力用于支持SparkSql对Hudi表的列进行Alter变更，使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。 不支持对分区列做演进。 不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
