检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费相关问题 DLI的计费模式有哪些? 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗? 数据湖队列什么情况下是空闲状态? 怎样排查DLI计费异常? 已购买套餐包,为什么仍然产生按需计费? 怎样查看套餐包资源的使用情况? 怎样查看DLI的数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费?
查验证。 整体流程 图1 增强型跨源连接配置流程 前提条件 已创建DLI队列。创建队列详见创建DLI队列操作指导。 队列的计费类型必须为:“包年/包月”,“按需计费”(按需计费需勾选“专属资源模式”。) 仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。
完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
访问MySQL集群填写"数据库名.表名" 注意: 连接的RDS数据库名不能包含中划线-或^特殊字符,否则会创建表失败。 访问PostGre集群填写"模式名.表名" 说明: 模式名即为数据库模式(schema)的名称。数据库中schema是数据库对象集合,包含了表,视图等多种对象。 user (已废弃)RDS用户名。
完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
访问MySQL集群填写"数据库名.表名" 注意: 连接的RDS数据库名不能包含中划线-或^特殊字符,否则会创建表失败。 访问PostGre集群填写"模式名.表名" 说明: 模式名即为数据库模式(schema)的名称。数据库中schema是数据库对象集合,包含了表,视图等多种对象。 user (已废弃)RDS用户名。
该参数与'primary key'配合使用。 未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
该参数与'primary key'配合使用。 未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
该参数与'primary key'配合使用。 未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
k作业”页面。 单击右上角的“创建作业”,在Spark作业编辑窗口,可以选择使用“表单模式”或者“API模式”进行参数设置。 以下以“表单模式”页面进行说明,“API模式”即采用API接口模式设置参数及参数值,具体请参考《数据湖探索API参考》。 选择运行队列。 在下拉列表中选择要使用的队列。
password”参数同时配置。 使用账号密码参数时,创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。 示例 create
password”参数同时配置。 使用账号密码参数时,创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。 示例 create
若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一
若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一
如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。 upsert模式:Flink会根据主键插入新行或更新现有行,Flink可以通过这种方式保证幂等性。为保证输出结果符合预期,建议为表定义主键。 Append模式:Flink 会将所有记录解释为INS
如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。 upsert模式:Flink会根据主键插入新行或更新现有行,Flink可以通过这种方式保证幂等性。为保证输出结果符合预期,建议为表定义主键。 Append模式:Flink 会将所有记录解释为INS
CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相
说明: aarch64架构计算资源使用华为鲲鹏系列服务器。 resource_mode 否 Integer 队列资源模式。支持以下两种类型: 0:共享资源模式 1:专属资源模式 labels 否 Array of Strings 创建队列的标签信息,目前包括队列是否跨AZ的标签信息(J
SQL语句,至少包含source, query, sink三个部分。长度限制:0-1024*1024个字符。 run_mode 否 String 作业运行模式: shared_cluster:共享。 exclusive_cluster:独享。 edge_node:边缘节点。 默认值为“shared_cluster”。