检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
s 是 Array of objects 该队列在该弹性资源池下的扩缩容策略信息。单条策略信息包含时间段、优先级和CU范围。每个队列至少要配置一条时间段为[00:00, 24:00]的默认扩缩容策略。详细参数说明请参考表3。 表3 queue_scaling_policies 参数
属性分隔符,默认为“,”英文逗号。 connector.partition-key 否 数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。 注意事项 无 示例 将流disSink的数据输出到DIS中。 1 2 3 4 5 6 7 8 9 10
增强型跨源连接不计费。 怎样创建增强型跨源连接? 在DLI管理控制台,单击“跨源管理 > 增强型跨源 ”。 选择“增强型跨源”,单击“创建”。 配置增强型跨源连接的信息请参考创建增强型跨源连接。 创建完成后,增强型跨源连接的状态显示“已激活”,代表该连接创建成功。您还可以在队列管理页面测试数据源与DLI队列的连通性。
IDEA上勾选:include dependencies with "Provided" scope,否则本地调试运行时会加载不到pom文件中的依赖包。 具体操作以IntelliJ IDEA版本2020.2为例,参考如下: 在IntelliJ IDEA界面,选择调试的配置文件,单击“Edit
_cus)/(cu_number-manager_cu_number)”。 operator_config 否 String 算子的并行度配置。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer
属性分隔符,默认为“,”英文逗号。 connector.partition-key 否 数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。 注意事项 无 示例 将流disSink的数据输出到DIS中。 1 2 3 4 5 6 7 8 9 10
print-identifier 否 配置一个标识符作为输出数据的前缀。 standard-error 否 该值只能为true或false,默认为false。 若为true,则表示输出数据到taskmanager的error文件中。 若为false,则表示输出数据到taskmanager的out中。
数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector.password 否 访问数据库所需要的密码
IDEA上勾选:include dependencies with "Provided" scope,否则本地调试运行时会加载不到pom文件中的依赖包。 具体操作以IntelliJ IDEA版本2020.2为例,参考如下: 在IntelliJ IDEA界面,选择调试的配置文件,单击“Edit
IDEA上勾选:include dependencies with "Provided" scope,否则本地调试运行时会加载不到pom文件中的依赖包。 具体操作以IntelliJ IDEA版本2020.2为例,参考如下: 在IntelliJ IDEA界面,选择调试的配置文件,单击“Edit
在AS关键字后使用select语句选择需要插入到table1_ctas表中的数据。 SELECT语法为:SELECT <列名称> FROM <表名称> WHERE <相关筛选条件>。 示例中使用select * from table1,表示会从table1中选择所有语句,并将这些语句复制到table1_ctas表中。
数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据
userDefined结果表 功能描述 您可通过编写代码实现将DLI处理之后的数据写入到指定的云生态或者开源生态。 前提条件 已编写代码实现自定义sink类: 自定义sink类需要继承Flink开源类:RichSinkFunction,并指定数据类型为:Tuple2<Boolean
数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: Spark SQL语法参考(即将下线)
在AS关键字后使用select语句选择需要插入到table1_ctas表中的数据。 SELECT语法为:SELECT <列名称> FROM <表名称> WHERE <相关筛选条件>。 示例中使用select * from table1,表示会从table1中选择所有语句,并将这些语句复制到table1_ctas表中。
数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector.password 否 访问数据库所需要的密码
print-identifier 否 配置一个标识符作为输出数据的前缀。 standard-error 否 该值只能为true或false,默认为false。 若为true,则表示输出数据到taskmanager的error文件中。 若为false,则表示输出数据到taskmanager的out中。
本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Flink版本,选
本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Flink版本,选
cluster_address 是 Redis实例连接地址。 password 否 Redis实例连接密码,当设置为免密访问时,省略该配置项。 value_type 是 指定数据类型。支持的数据类型包括:string, list, hash, set, zset。 key_column