检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作为输出,需要了解生成的输出文件的命名和生命周期。 Part 文件可以处于以下三种状态中的任意一种: In-progress:当前正在写入的 Part 文件处于 in-progress 状态 Pending:由于指定的滚动策略)关闭 in-progress 状态文件,并且等待提交 Finished:流模式(STREAMING)下的成功的
相比原来更优惠。 弹性资源池规格不满足当前业务需求时,可以通过“变更规格”功能修改当前弹性资源池的规格。 注意事项 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 弹性资源池扩容 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要扩容的弹性资源池,单击“操作”列“更多”中的“规格变更”。
上传Jar包到OBS和DLI OBS控制台 DLI控制台 将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。 7 创建Spark Jar作业 DLI控制台 在DLI控制台创建Spark Jar作业并提交运行作业。 8 查看作业运行结果 DLI控制台 查看作业运行状态和作业运行日志。
如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。 upsert模式:Flink会根据主键插入新行或更新现有行,Flink可以通过这种方式保证幂等性。为保证输出结果符合预期,建议为表定义主键。 Append模式:Flink 会将所有记录解释为INS
attr_expr 属性表达式。 Equality and inequality 等式与不等式,详情请参见关系运算符。 pattern_string 模式匹配字符串,支持通配符匹配。WHERE LIKE条件过滤时,支持SQL通配符中“%”与“_”,“%”代表一个或多个字符,“_”仅代表一个字符。
integer 队列的收费模式。 0:系统默认default队列。按照扫描量计费。 1:表示按照CU时收费。 2:表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 resource_mode 否 Integer 资源模式。 0:共享队列 1:专属队列
访问MySQL集群填写"数据库名.表名" 注意: 连接的RDS数据库名不能包含中划线-或^特殊字符,否则会创建表失败。 访问PostGre集群填写"模式名.表名" 说明: 模式名即为数据库模式(schema)的名称。数据库中schema是数据库对象集合,包含了表,视图等多种对象。 user (已废弃)RDS用户名。
否 跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。 注意事项
”(按需计费需勾选“专属资源模式”。) 仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。 登录DLI管理控制台。 在“购买队列”页面,进行资源选型和参数配置。 购买队列的详细参数请参考创建队列。 步骤3:创建专属队列和VPC的增强型跨源连接 在DL
attr_expr 属性表达式。 Equality and inequality 等式与不等式,详情请参见关系运算符。 pattern_string 模式匹配字符串,支持通配符匹配。WHERE LIKE条件过滤时,支持SQL通配符中“%”与“_”,“%”代表一个或多个字符,“_”仅代表一个字符。
attr_expr 属性表达式。 Equality and inequality 等式与不等式,详情请参见关系运算符。 pattern_string 模式匹配字符串,支持通配符匹配。WHERE LIKE条件过滤时,支持SQL通配符中“%”与“_”,“%”代表一个或多个字符,“_”仅代表一个字符。
is not 关系运算符:不是。 const_null 常量:空值。 like 关系运算符:用于通配符匹配。 pattern_string 模式匹配字符串,支持通配符匹配。WHERE LIKE条件过滤时,支持SQL通配符中“%”与“_”,“%”代表一个或多个字符,“_”仅代表一个字符。
is not 关系运算符:不是。 const_null 常量:空值。 like 关系运算符:用于通配符匹配。 pattern_string 模式匹配字符串,支持通配符匹配。WHERE LIKE条件过滤时,支持SQL通配符中“%”与“_”,“%”代表一个或多个字符,“_”仅代表一个字符。
如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。 upsert模式:Flink会根据主键插入新行或更新现有行,Flink可以通过这种方式保证幂等性。为保证输出结果符合预期,建议为表定义主键。 Append模式:Flink 会将所有记录解释为INS
attr_expr 属性表达式。 Equality and inequality 等式与不等式,详情请参见关系运算符。 pattern_string 模式匹配字符串,支持通配符匹配。WHERE LIKE条件过滤时,支持SQL通配符中“%”与“_”,“%”代表一个或多个字符,“_”仅代表一个字符。
按需计费以小时为单位进行结算。不足一小时按一小时计费,小时数按整点计算。 例如 12:10 ~12:30、12:10 ~12:55 期间使用,则收取1个小时的费用。 具体的计费模式请参考:计费说明。 父主题: 计费相关问题
导出数据。 本示例当前选择为“否”。 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 本示例因为DWS集群上创建数据库和表中没有创建SCHEMA,则本参数为默认的“public”。
否 跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。 注意事项
k作业”页面。 单击右上角的“创建作业”,在Spark作业编辑窗口,可以选择使用“表单模式”或者“API模式”进行参数设置。 以下以“表单模式”页面进行说明,“API模式”即采用API接口模式设置参数及参数值,具体请参考《数据湖探索API参考》。 选择运行队列。 在下拉列表中选择要使用的队列。
导出数据。 本示例当前选择为“否”。 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 本示例因为DWS集群上创建数据库和表中没有创建SCHEMA,则本参数为默认的“public”。