检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图6 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 table_name 是 String 新增表名称。 表名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 表名称大小写不敏感且不能为空。 表名称支持包含“$”符号。例如:$test。 输入长度不能超过128个字符。
区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 name 是 String 连接名称。 名称只能包含数字、英文字母、下划线和中划线。不能为空。 输入长度不能超过64个字符。 service 是 String 服务名称,目前为CloudTable.Op
队列引擎版本升级后,在创建表时,提示权限不足怎么办? 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时,或切换使用HetuEngine后,如果已经赋予IAM用户的建表权限,但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同,校验的权限范围不同:
作业”,随后在右侧界面的右上角点击”创建作业”。 首先配置队列,Spark版本选择 3.3.1 及之后的版本。 可以选择配置作业名称,便于识别和筛选。 配置”应用程序”,路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串,无法转换则转为NULL输出,避免报错产生: SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
是:“window_start”,“window_end”,“window_time”。函数运行后,原有的时间属性 “timecol” 将转换为一个常规的 timestamp 列。 TUMBLE(TABLE data, DESCRIPTOR(timecol), size [, offset
详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP(在线分析处理)等场景。 Flink作业 专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业:DLI提供了标准的连接器(co
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构,计算集群基于K8s资源调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_name 是 String 队列扩缩容计划名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 target_cu 是 Integer 队列扩缩容计划CU的目标值。 start_hour
查询参数名和值中: 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII 空格字符会被编码为+ 。 所有其他字符都将转换为UTF-8,并且字节被编码为字符串%XX,其中XX是UTF-8字节的大写十六进制值。 select url_encode('http://www
arrow.async FALSE 否 是否支持异步转换 Arrow 格式到 flink-doris-connector 迭代所需的 RowBatch。 doris.deserialize.queue.size 64 否 异步转换 Arrow 格式的内部处理队列,当doris.deserialize
MySQL CDC源表 功能描述 MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 name 是 String 连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 dest_vpc_id 是 String 对应服务的vpc的ID。具体请参考《虚拟私有云API参考》。
parquet.utc-timezone 否 false Boolean 使用 UTC 时区或本地时区在纪元时间和 LocalDateTime 之间进行转换。Hive 0.x/1.x/2.x 使用本地时区,但 Hive 3.x 使用 UTC 时区。 数据类型映射 目前,Parquet 格式类型映射与
在“创建程序包”对话框,配置以下参数。 包类型:选择“JAR”。 OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 图12 创建程序包 步骤7:创建Spark Jar作业 登录DLI控制台,单击“作业管理 >
如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。 作业编辑窗口常用语法采用不同颜色突出显示。
计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储(可选)收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源
选择“增强型跨源”,单击“创建”。 配置增强型跨源连接信息,详细参数介绍请参见表2。 表2 参数说明 参数 参数说明 连接名称 所创建的跨源连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 弹性资源池 可选参数,用于绑定使用跨源连接的弹性资源池或队列。 仅包周期和按需计费模式的专属队列支持绑定弹性资源池。