检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Fli
与计算引擎版本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Fli
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式 create table dataGenSource( attr_name
DLI表在创建时不需要指定Schema信息,Schema信息将使用DWS表的信息。如果select子句中选择的字段数量和类型与DWS表的Schema信息不匹配时,系统将报错。 不建议对同一张表并发插入数据,因为有一定概率发生并发冲突,导致插入失败。 示例 查询表“user”中的数据插入表“test”中。
参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 修改增强型跨源连接的主机信息。 { "hosts": [ { "ip":"192
参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建一个CSS类型的跨源认证。 { "auth_info_name": "test"
参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建一个CSS类型的跨源认证。 { "auth_info_name": "test"
建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下: 登录DLI管理控制台,单击“作业管理 > SQL作业”,对应SQL作业行的操作列,单击“编辑”按钮,跳转到“SQL编辑器”。 在“SQL编辑器”中,单击“设置”,参考如下图配置添加参数。
(VARCHAR) test-flink - flink - one-two-ww-three - 查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
(VARCHAR) test-flink - flink - one-two-ww-three - 查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 在已创建的增强型跨源中绑定队列q1和q2。 { "queues": [ "q1"
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 删除ID为3和4的扩缩容计划。 { "plan_ids": [3,4] } 响应示例
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 version 否 String 委托版本信息。 current_roles 否 Array of Strings
DLI表在创建时不需要指定Schema信息,Schema信息将使用RDS表的信息。如果select子句中选择的字段数量和类型与RDS表的Schema信息不匹配时,系统将报错。 不建议对同一张表并发插入数据,因为有一定概率发生并发冲突,导致插入失败。 示例 查询表“user”中的数据插入表“test”中。
怎样创建增强型跨源连接? 在DLI管理控制台,单击“跨源管理 > 增强型跨源 ”。 选择“增强型跨源”,单击“创建”。 配置增强型跨源连接的信息请参考创建增强型跨源连接。 创建完成后,增强型跨源连接的状态显示“已激活”,代表该连接创建成功。您还可以在队列管理页面测试数据源与DLI队列的连通性。
e”则默认为“ErrorIfExists”。 “ErrorIfExists”:存在即报错。指定的导出目录必须不存在,如果指定目录已经存在,系统将返回错误信息,无法执行导出操作。 “Overwrite”:覆盖。在指定目录下新建文件,会删除已有文件。 with_column_header
from dataGenSource; 该作业提交后,作业状态变成“运行中”,后续您可通过如下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
"case_timestamp_to_date": "2022-04-02 15:00:00"} 查看输出结果: 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
DLI表必须已经存在。 DLI表在创建时需要指定Schema信息,如果select子句或者values中字段数量与CSS表的Schema字段数量不匹配时,系统将报错。 类型不一致时不一定报错,例如插入int类型数据,但CSS中Schema保存的是文本类型,int类型会被转换成文本类型。 不建议对
`obs://bucket0/db0/delta_table1` SHALLOW CLONE delta_table0 VERSION AS OF 10; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DDL语法说明