检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性资源池ID：通过调用查询所有弹性资源池获弹性资源池ID。响应中的resource_id为弹性资源池ID。 增强型跨源连接ID：在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。
读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 truncate 执行
表达式的返回类型必须是 TIMESTAMP(3)，表示了从 Epoch 以来的经过的时间。 返回的 watermark 只有当其不为空且其值大于之前发出的本地 watermark 时才会被发出（以保证 watermark 递增）。每条记录的 watermark 生成表达式计算都会由框架完成。 框架会定期发出所生成的最大的
从表或分区中移除所有行。当表属性“auto.purge”采用默认值“false”时，被删除的数据行将保存到文件系统的回收站，否则，当“auto.purge”设置为“true”时，数据行将被直接删除。 限制 目标表必须是管控表（表属性external=false），否则执行语句将报错。 示例 -- 删除原生/管控表
建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。 参数名称 参数描述
怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。
为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额
为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额
进程，在Mysql 的jdbc驱动的代码里会设置时区，这个时区是通过TimeZone.getTimeZone(canonicalTimezone) 读取的。也就是说，读取的是CST（UTC+8），但真正设置的时区却是CST（UTC-5）。 解决方案 数据库设置 time_zone 的值为非 SYSTEM，比如
API语法说明 设置写入方式 Hudi通过hoodie.datasource.write.operation参数设置写入模式。 insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。
入延迟，因而进行不阻塞摄入的异步Compaction很有意义。 如何执行Compaction 仅执行Schedule Spark SQL（设置如下参数，写数据时触发） hoodie.compact.inline=true hoodie.schedule.compact.only.inline=true
套餐包到期后，按需资源不会自动关闭，将会以按需付费的方式继续使用。 购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面，单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的区域。不同区域的云服
请勿将该OBS桶用作其它用途，避免出现作业结果混乱等问题。 OBS桶需要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 操作步骤
间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。 为能
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。
读取kafka中的数据，以avro格式反序列化，并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
"[0:2]"时，表示读取的分区范围是1-3，包括分区1、分区2和分区3，范围设置要在dis相应通道的范围内。 connector.offset 否 用户可以根据需求设置该参数的数值，读取数据的起始位置，与start-time不能同时设置。 connector.start-time 否 DIS数据读取从该起始时间的数据。
用SQL从这些服务中读写数据，如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后，用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题： 创建弹性资源池和队列
多会导致性能问题，所以元数据文件数量最好控制在1000以内。 如何执行Archive 写完数据后archive Spark SQL（set设置如下参数，写数据时触发） hoodie.archive.automatic=true hoodie.keep.max.commits=30
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
