检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? Caused by: org.apache.flink.client.program.ProgramInvocationException:
安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。 安装配置完成后,输入命令“mvn -v”,显示如下图 Maven版本信息 表示成功。 Maven安装完成后,可根据开发需要,直接引入依赖到已有的Maven工程或先用开发工具创建Maven工程。 创建项目以idea开发工具为例(已有Maven
状态码 状态码 描述 200 批量运行作业成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Flink作业相关API
批量添加资源标签 功能介绍 批量添加资源标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ
查询资源实例数量 功能介绍 查询资源实例数量。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ
DLI提供查询Flink作业模板的接口。您可以使用该接口查询作业模板列表。本示例排序方式选择降序desc,将会列出作业模板ID小于cursor的作业模板列表信息。示例代码如下: 1 2 3 4 5 6 7 public static void getFlinkJobTemplates(DLIClient
入。 状态索引:Flink引擎独有索引,是将行记录的存储位置记录到状态后端的一种索引形式,在作业冷启动过程中会遍历所有数据存储文件生成索引信息。 用Flink状态索引,Flink写入后,不支持Spark继续写入。 Flink在写Hudi的MOR表只会生成log文件,后续通过com
需要执行INSERT命令的表所在数据库的名称。 table_name 需要执行INSERT命令的表的名称。 part_spec 指定详细的分区信息。若分区字段为多个字段,需要包含所有的字段,但是可以不包含对应的值,系统会匹配上对应的分区。单表分区数最多允许100000个。 select_statement
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前,Avro schema 从表schema 推导。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息。 如果在建表时指定“key.column”,则在Redis中会以指定字段的值作为Redis Key名称的一部分。例如: 1 2 3 4 5
多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。 Spark SQL暂不支持查看列默认值信息,可以通过执行show create table SQL查看。 不支持默认缺省列的写入方式,写入时必须指定列名。 支持范围 当前仅支持in
状态的超时时间。对于Bulk Formats在每次创建Checkpoint时进行滚动,并且用户也可以添加基于大小或者时间等的其他条件。更多信息参考文件系统 SQL 连接器 在STREAMING模式下使用FileSink需要开启Checkpoint功能。Part文件只在Checkp
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前,Avro schema 从表schema 推导。 更多具体使用可参考开源社区文档:Avro Format。 支持的Connector Kafka Upsert Kafka
source kafka sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet
批量删除资源标签 功能介绍 为指定实例批量删除标签。 此接口为幂等接口: 删除时,如果删除的标签不存在,默认处理成功。 单次最多支持删除20个标签 删除时不对标签字符集范围做校验。 删除时tags结构体不能缺失,key不能为空,或者空字符串。 调试 您可以在API Explore
生命周期主要提供定期回收表或分区的功能,每天根据服务的繁忙程度,不定时回收。不能确保表或分区的生命周期到期后,立刻被回收。 删除表后,表的所有属性信息全部会删除,包括生命周期。新建同名表后,表的生命周期以新设置的属性为准。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。
group_resource.group_name) 完整样例代码和依赖包说明请参考:Python SDK概述。 查询指定资源包 您可以使用该接口查询指定的资源包信息,示例代码如下: def get_package_resource(dli_client, resource_name, group_name):
支持数据扫描量套餐包 DLI增加数据扫描量套餐包,降低数据扫描量费用。 商用 产品价格详情 2 支持全局变量功能 DLI支持设置全局变量,用于保护用户关键信息。 商用 全局变量 2020年4月 序号 功能名称 功能描述 阶段 相关文档 1 支持IAM细粒度授权 DLI支持通过IAM进行细粒度授权。
SHOW_PRIVILEGES 查看其他用户具备的表权限 √ × √ √ DISPLAY_TABLE 显示表 √ √ √ √ DESCRIBE_TABLE 显示表信息 √ × √ √ 弹性资源池 DROP 删除弹性资源池 √ × √ √ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ ×
- INTERVAL '5' SECOND ) WITH ( . . . ); PRIMARY KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。