检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark 3.3.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
Flink 1.15版本说明 数据湖探索（DLI）遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.15版本所做的变更说明。 更多Flink 1.15版本说明请参考Release Notes - Flink Jar 1.15、Flink OpenSource SQL1
Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
保留插入和删除表testTable数据的权限，则需要重新对该表进行权限赋予。 问题根因 删除表后再重建同名的表，该场景下表权限不会自动继承，需要重新对需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后，需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下：
环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用 JSON 序列化消息。 Flink 支持将 Ogg JSON 消息解析为 INSERT/UPDATE/DELETE
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。 当指定Hu
可轻松将CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤：
U数在128CU以上（假设每天累计12个小时实际CUs为128CUs，超出规格64CUs。），因此在2023/03/10 15:50:04变更弹性资源池规格为128CU。弹性资源池计费详情请参见数据湖探索价格详情。 价格仅供参考，实际计算请以数据湖探索价格详情中的价格为准。 该示例计费详情如表1所示。
DLI服务的域名。 在地区和终端节点获取DLI对应区域的域名。 如果不配置，程序根据region参数来确定域名。 obsEndPoint 是 obs.cn-north-1.myhuaweicloud.com OBS服务的域名。 在地区和终端节点获取OBS对应区域的域名。 bucketName
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下： 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。
x版本中使用Mesos作为资源管理器，升级到Spark 3.3.x后，你需要考虑切换到其他资源管理器。 Spark3.3.x会在应用程序自行终止时删除K8s driver 说明：Spark3.3.x会在应用程序自行终止时删除K8s driver。 升级引擎版本后是否对作业有影响：
如果您的表已经在所需的协议版本上，需要先执行如下语句才能修改成功： ALTER TABLE table_name SET TBLPROPERTIES ('delta.columnMapping.mode' = 'name')； 如果您的表不在所需的协议版本上，需要先执行如下语句才能修改成功：
队列管理”。 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 在“弹性扩缩容”页面，“变更方式”选择“扩容”，设置扩容的CU值。 图1 弹性扩容 确认费用无误后，单击“确定”。 弹性缩容 当计算业务较小，不需要那么大的队列规格时，可以通过手动变更队列规格来缩容当前队列。
建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面，单击该连接“操作”列中的“修改主机信息”，在弹出的对话框中，填写主机信息。 格式：“IP 主机名/域名”，多条信息之间以换行分隔。 MRS主机信息获取，详细请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 父主题： 增强型跨源连接类
队列管理”。 在“队列管理”页面，选择需要测试地址连通性的队列，单击操作列下的“更多 > 测试地址连通性”。 在“测试地址连通性”页面填写需要测试的地址。支持域名和IP，可指定端口。 数据源地址支持以下输入格式：IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址：192
当前CUs，需要先调大实际CUs。 以下操作适用于目标CU小于等于CU范围的最大值。目标CU大于CU范围最大值时，请先调大弹性资源池的最大CU。 包年包月计费模式的弹性资源池，通过调整当前弹性资源池中队列的最大CU或增加队列，以增大弹性资源池的实际CUs，再通过变更弹性资源池规格
resource ‘resources. xxx', User = 'xxx', Action = "UPDATE_RESOURCE'." 解决方案 需要给执行作业的用户赋程序包的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下： 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。
'orc'。 Orc 格式也支持来源于 Table properties 的表属性。 举个例子，您可以设置 orc.compress=SNAPPY 来允许spappy压缩。 数据类型映射 Orc 格式类型的映射和 Apache Hive 是兼容的。下面的表格列出了 Flink 类型的数据和 Orc
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下： 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
