检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
00:00:00(北京时间)前,您可以最大续订1年队列或者变更队列。 2024年6月30日 00:00:00(北京时间)之后将无法续订、变更队列。 EOL后,队列资源将无法继续使用,请务必在下线前更换使用“弹性资源池”或“default队列”。推荐您购买弹性资源池,并在弹性资源池中创建队列,体验更丰富的DLI产品能力。
格式存储的表。由于connector对不同文件格式的列访问模式不同,drop column后可能会出现查询失败的情况,例如: 对于orc格式存储的非分区表 ,drop column后如果查询失败,需要设置Session属性: set session hive.orc_use_column_names=true;
当弹性资源池不需要使用增强型跨源连接访问数据源时,可将增强型跨源连接与弹性资源池解绑。 约束限制 增强型跨源绑定弹性资源池所创建的对等连接状态为“已失败”时,不支持解绑该弹性资源池。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 解绑弹性资源池。 方法一:
String 对Elasticsearch请求失败时的故障处理策略。有效的策略是: fail: 如果请求失败并因此导致作业失败,则抛出异常。 ignore: 忽略失败并丢弃请求。 retry-rejected:重新添加由于队列容量饱和而失败的请求。 自定义类名:用于使用ActionR
的元素。当第一个可为空的元素小于,等于或大于第二个可为空的元素时,它将返回-1、0或1。如果比较器函数返回其他值(包括NULL),则查询将失败并引发错误。 SELECT array_sort(ARRAY [3, 2, 5, 1, 2], (x, y) -> IF(x < y, 1
Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 为什么已有View视图的select权限,但是查询不了View? 提交作业时提示作业桶权限不足怎么办? 提示OBS Bucket没有授权怎么办?
column=detail:user_name, timestamp=2021-12-16T21:30:52.181, value=Bob 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? org.apache.zookeeper.ClientCnxn$SessionTimeoutException:
出现重复数据。 bulk_insert:该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而upsert和insert操作可以很好的控制小文件。 upsert: 默认操作类型。Hudi会根据主键进行判断即将插入的数据
是否缓存空查询结果,默认为true。具体请参考Lookup Cache功能介绍。 lookup.max-retries 否 3 Integer 查询数据库失败的最大重试次数。 sink.buffer-flush.max-rows 否 100 Integer flush前缓存记录的最大值,可以设置为
境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号,不能使用双引号。 建表时数据类型的使用请参考Format章节。 认证用的username和password等硬编码到代码中或者明文存储都有很大
创建程序包的状态。 上传中(Uploading):表示程序包正在上传。 已成功(Finished):表示程序包已经上传。 已失败(Failed):表示程序包上传失败。 创建时间 创建程序包的时间。 更新时间 更新程序包的时间。 操作 权限管理:对程序包用户进行权限管理。 删除:删除程序包。
ion文档。 示例 DROP TABLE IF EXISTS db0.delta_table0; 系统响应 执行成功,元数据中表将被删除,无法通过show和describe查询该表。 父主题: Delta DDL语法说明
column=detail:user_name, timestamp=2021-12-16T21:30:52.181, value=Bob 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? org.apache.zookeeper.ClientCnxn$SessionTimeoutException:
Boolean 请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 执行失败时,用于显示执行失败的原因。 sqls Array of Object 样例模板信息,具体参数说明请参见表3。 sqlCount Integer 样例模板个数。
topic 是 无 String Kafka的topic名称。 注意: “topic”和“topic-pattern”参数只能配置一个,不能同时配置。 若有多个topic,请以';'分隔,如'topic-1;topic-2'。 topic-pattern 否 无 String 匹配读取kafka
Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权,导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource
行数为计算单元2倍为宜。 勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。配置
说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功,与目的地址连接正常。 FAILED 已失败 跨源连接创建失败。 DELETED 已删除 跨源连接已被删除。 请求示例 无 响应示例 { "is_success": true,
行数为计算单元2倍为宜。 勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。配置
若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果表若定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多