检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e temporal join始终会加入最新版本的时态表。Flink支持分区表和 Hive非分区表的临时连接，对于分区表，Flink 支持自动跟踪Hive表的最新分区。详情可参考：Apache Flink Hive Read & Write 注意事项 Flink目前不支持与Hiv
只有开通了企业管理服务的用户才显示该参数。 购买时长 选择“包年/包月”计费模式时，需要选择“购买时长”。购买时长越长，优惠越多。可勾选“自动续费”，按月购买，自动续费周期为1个月。按年购买，自动续费周期为1年。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务
”分隔，包括对应metric下所有tagk的值。 注意事项 创建DLI表时，不需要指定timestamp和value字段，系统会根据指定的tags自动构建字段，包含以下字段，其中TAG1和TAG2由tags指定。 TAG1 String TAG2 String timestamp Timestamp
park会保持该配置要求，不会自动转换为可空的字段。 Spark2.4.x：在Spark 2.4.x版本中，当用户指定的schema包含不可为空的字段时，Spark会将这些不可为null的模式转换为可空的。 Spark3.3.x：Spark不会自动转换为可空的字段。 如果希望在Spark
说明 str1、str2 是 STRING 字符串。 如果输入参数为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会自动转换为STRING类型后参与运算，其他类型会返回报错。 返回值说明 返回ARRAY数组或STRING的值。 返回ARRAY类型。如果任一输
// 打开异步清理 set hoodie.clean.automatic = false; // 关闭自动清理，防止compaction操作触发clean run compaction on $tablename;
“SMN主题”： 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 异常自动重启 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 勾选后需配置下列参数： “异常重试最大次数”：配置异常重试最大次数。单位为“次/小时”。 无限：无限次重试。
该配置项用于启用或禁用动态分区修剪。在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且
zip”解压目录下的windows目录。例如：“D:\tmp\dli-sdk-python-1.0.8”。 执行如下命令安装DLI服务Python SDK，安装过程中会自动下载第三方依赖库。 python setup.py install 运行结果参见图2所示。 图2 安装Python SDK Python开发环境配置
每次从数据库拉取数据的行数。若指定为0，则会忽略sql hint。 scan.auto-commit 否 true Boolean 是否设置自动提交，以确定事务中的每个statement是否自动提交 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。用户若配
头的目录”。 说明： 如果同时勾选了“开启Checkpoint”和“保存作业日志”，OBS授权一次即可。 异常自动重启 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 勾选后需配置下列参数： “异常重试最大次数”：配置异常重试最大次数。单位为“次/小时”。 无限：无限次重试。
详细的参数配置可以参考：CDM配置DLI目的端参数。 单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。
parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启：true 关闭：false 默认：false checkpoint_mode 否 Integer 快照模式,。两种可选：
新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 说明： 队列名称不区分大小写，系统会自动转换为小写。 queue_type 否 String 队列的类型,。有如下类型： sql：SQL队列类型，用于运行SQL作业。 gener
注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。
查询SQL作业日志 登录DLI管理控制台，单击“作业管理 > SQL作业”。 选择待查询的SQL作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“ 下载”，下载SQL作业日志到本地。 图3 下载SQL作业日志 父主题：
使用跨源密码认证时配置为“true”。 如果在DDS中已存在collection，则建表可以不指定schema信息，DLI会根据collection中的数据自动生成schema信息。 示例 1 2 3 4 5 6 create table 1_datasource_mongo.test_momgo(id
connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector.password 否 访问数据库所需要的密码
“SMN主题”： 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 异常自动重启 否 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 勾选后需配置下列参数： “异常重试最大次数”：配置异常重试最大次数。单位为“次/小时”。 无限：无限次重试。
由于创建库表只需要执行一次，所以本示例只设置为单次调度。 鼠标左键单击作业画布空白处。 单击 “调度配置” ，选择 “单次调度”（该作业只会被调度一次，后续不会再被自动调度）。 图9 配置作业调度 完成调度配置后单击“执行调度”。 单击“前往运维中心”可以查看作业运行状况。 步骤2：业务数据的计算与处理 开发导入业务数据的SQL脚本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
