检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
超过这个阈值。 Hudi表做过Clean，如果没有做过Clean就不会执行Archive。 建议 Archive作业每天至少执行一次，可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Archive，MOR表的Archive可以参考2.2.1.6小节和C
典型场景示例：迁移Hive数据至DLI 典型场景示例：迁移Kafka数据至DLI 典型场景示例：迁移Elasticsearch数据至DLI 典型场景示例：迁移RDS数据至DLI 典型场景示例：迁移DWS数据至DLI 父主题： 数据迁移与数据传输
connection_id 是 String 连接ID，用于标识跨源连接的UUID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 hosts 是 Array of objects 用户自定义主机信息，最大支持2万条记录，详细信息参见表 hosts请求参数。内容填空表示清除所有已配置的主机信息。
用Bucket桶数= 8GB/2GB = 4 来创建表；每天的更新数据占比较高，且主要分散到近一个月。这样会导致结果是，每天的数据会写入到全月的Bucket桶中，那就是4*30 = 120个桶。如果采用月分区，分区桶的个数= 3GB * 30 /2GB = 45个桶 ，这样写入的
单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 父主题： 准备工作
服务以您的身份使用其他云服务，代替您进行一些资源运维工作。该委托包含跨源操作、消息通知、用户授权操作所需的权限。详细委托包含的权限请参考表2 dli_data_clean_agency 系统默认委托，需用户自行授权 数据清理委托，表生命周期清理数据及lakehouse表数据清理使
Flink作业如何保存作业日志？ 在创建Flink SQL作业或者Flink Jar作业时，可以在作业编辑页面，勾选“保存作业日志”参数，将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OB
在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面，填写具体的弹性资源池参数，具体参数填写参考如下。 表2 参数说明 参数名称 描述 计费模式 包年/包月：预付费模式，按订单的购买周期计费。拥有专属的计算资源，空闲（无作业运行）时不会释放，使用体验更佳，价格比按需计费模式更优惠。
DLI Spark 3.1.1版本停止服务（EOS）公告 公告说明 华为云计划于2024年12月31 00:00（北京时间）将Spark 3.1.1版本停止服务（EOS）。 影响 DLI Spark 3.1.1版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
DLI Spark 2.3.2版本停止服务（EOS）公告 公告说明 华为云计划于2023年12月31 00:00（北京时间）将Spark 2.3.2版本停止服务（EOS）。 影响 DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
勾选该权限的项目不具备跨源场景所需权限、和SMN发送通知消息的权限。 示例1：在项目A配置DLI的基础使用、跨源场景、运维场景的权限和示例2：在项目B配置DLI的基础使用、跨源场景、运维场景的权限给出了同一个区域的不同项目更新DLI委托带来的委托权限差异。 单击选择dli_man
增强型跨源连接的优势： 网络连通性：直接打通DLI与目的数据源的VPC网络实现数据互通。 支持多种数据源：支持DLI与多种数据源的网络连通，例如DWS，RDS，CSS，DCS等数据源。 父主题： 增强型跨源连接类
21-08-28'); 注意事项 使用由DLI提供的元数据服务时，不支持本命令。 权限需求 由DLI提供的元数据服务 SQL权限： database table 无 SELECT 细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
connection for queues:{请求参数中的弹性资源池列表}", "connection_id": "2a620c33-5609-40c9-affd-2b6453071b0f" } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 201 创建成功。 400 请求错误。
pt_spec 否 待禁止或恢复生命周期的表的分区信息。格式为partition_col1=col1_value1, partition_col2=col2_value1...。对于有多级分区的表，必须指明全部的分区值。 enable 否 恢复表或指定分区的生命周期功能 表及其分区重新参与
'status',half comment 'half') AS SELECT orderkey, orderstatus, totalprice / 2 AS half FROM orders; 通过表orders的汇总结果创建视图orders_by_date： CREATE VIEW orders_by_date
自定义分组或选择已有的分组名称。 图2 创建对应的Flink Jar包 创建distoDis对应的包。 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建程序包”，创建disToDis.properties对应的程序包。代码样例请参考disToDis.properties样例。 表2 创建disToDis
DataGen2FileSystemSink 参数 --checkpoint.path obs://test/flink/jobs/checkpoint/120891/ --output.path obs://dli/flink.db/79914/DataGen2FileSystemSink
单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 查询Spark作业日志 登录DLI管理控制台，单击“作业管理 > Spark作业”。 选择待查询的Spark作业，单击操作列的“更多
Spark 2.4.5版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
