检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数
建议您在执行作业时选择新版本的Flink引擎，推荐使用DLI Flink 1.15版本。 正在使用Flink 1.7版本的作业也请您尽快切换至新版本的Flink引擎，否则作业执行过程中出现的错误，不再提供该版本的任何技术服务支持。 如您有任何问题，可随时通过工单或者服务热线（4
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则： 按大小分割：默认情况下，每个日志文件最大为128MB。
s时，会触发弹性资源池扩容，扩容后的实际CUs= min（队列的最大CU和，弹性资源池CU范围最大值）。 通过“规格变更”将弹性资源池规格调整为80CUs，规格变更后，CU范围的最小值自动调整为与规格一致大小的CU。 示例2：按需计费的弹性资源池，实际CUs：64CUs、CU范围：64CUs
U数在128CU以上（假设每天累计12个小时实际CUs为128CUs，超出规格64CUs。），因此在2023/03/10 15:50:04变更弹性资源池规格为128CU。弹性资源池计费详情请参见数据湖探索价格详情。 价格仅供参考，实际计算请以数据湖探索价格详情中的价格为准。 该示例计费详情如表1所示。
影响 DLI经典型跨源连接的相关功能下线（EOL）后，不再提供该功能任何技术服务与支持。 如果您正在使用DLI经典型跨源连接的功能，请尽快更换使用增强型跨源连接，否则使用经典型跨源连接操作过程中出现的错误，不再提供该功能的任何技术服务支持。 如您有任何问题，可随时通过工单或者服务
选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 在“弹性扩缩容”页面，“变更方式”选择“扩容”，设置扩容的CU值。 图1 弹性扩容 确认费用无误后，单击“确定”。 弹性缩容 当计算业务较小，不需要那么大的队列规格时，可以通过手动变更队列规格来缩容当前队列。 缩容属于耗时操作，在DLI“弹性扩
误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作，变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小，用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时，可能
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串，无法转换则转为NULL输出，避免报错产生： SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
Bytes进行字节数组和Flink数据类型转换。 Flink的HBase连接器将所有数据类型（除字符串外）null值编码成空字节。对于字符串类型，null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink数据类型 HBase转换 CHAR/VARCHAR/STRING
Bytes进行字节数组和Flink数据类型转换。 Flink的HBase连接器将所有数据类型（除字符串外）null值编码成空字节。对于字符串类型，null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink数据类型 HBase转换 CHAR/VARCHAR/STRING
from_base, int to_base) conv(string num, int from_base, int to_base) 对num做进制转换操作，示例为从10进制转为2进制 select conv('123',10,2); -- 1111011 rand() → double 返回0到1之间的随机小数
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。 当指定Hu
查询参数名和值中： 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII 空格字符会被编码为+ 。 所有其他字符都将转换为UTF-8，并且字节被编码为字符串％XX，其中XX是UTF-8字节的大写十六进制值。 select url_encode('http://www
典型场景示例：迁移DWS数据至DLI 数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ，或者将DLI数据迁移到其他云服务或业务平台时，涉及到源和目的端数据类型的转换和映射，根据表2可以获取到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数
arrow.async FALSE 否 是否支持异步转换 Arrow 格式到 flink-doris-connector 迭代所需的 RowBatch。 doris.deserialize.queue.size 64 否 异步转换 Arrow 格式的内部处理队列，当doris.deserialize
您可以查看弹性资源池扩缩容前CUs，扩缩容后CUs，扩缩容目标CUs。 扩缩容历史支持“图形化展示”和“表格展示”两种形式。可以单击右上方进行切换。 例如：从查看弹性资源池扩缩容历史可见某一时间扩缩容异常，切换至表格形式后，如图2所示，预期扩容至80CUs，扩容前为64CUs，扩容后64CUs，扩容失败。 图1 图形化展示扩缩容历史
Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需的CUs，取两者中的最大值作为Executor 或driver所需的CU数。 图2 查看Spark作业所需CUs数
删除增强型跨源连接的路由信息 操作场景 本节操作指导用户删除不再使用的路由信息。 约束限制 当自定义路由表被关联至子网时，则无法删除。 请先通过更换子网关联的路由表将子网关联到其他的路由表，然后尝试删除。 操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
