检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Integer 偏移量。默认为0。 status 否 String 弹性资源池状态。具体参数范围如下: AVAILABLE:可使用 SCALING:规格变更中 CREATING:创建中 FAILED:已失败 tags 否 String 查询根据标签进行过滤。 请求消息 无。 响应消息 表3 响应参数说明
误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作,变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小,用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时,可能
在“分配至项目”页面,选择企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费,弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后,单击“确定”,保存队列的企业项目信息。 相关操作
中大部分时间CU数在128CU以上,没有规格变更的场景下64CU部分采用包年包月计费,超出的64CU按弹性资源池CU时计费方式计费。 为了满足该场景下更优惠的计费,则可以通过规格变更的方式,将弹性资源池的规格扩大到128CU,则规格变更成功后128CU范围内都使用包年包月计费,整
“properties.”后的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties." 前缀,并将转换后的键名以及值传入KafkaClient。 例如:您可以通过 'properties.allow.auto.create.topics' =
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列
DATA_MIGRATION:数据迁移。 RESTART_QUEUE:重启队列。 SCALE_QUEUE: 队列规格变更(扩容/缩容)。 状态 作业的状态信息,包括如下。 提交中 运行中 已成功 已取消 已失败 规格变更中 执行语句 作业的具体SQL语句以及导出、建表的操作,此处展示操作的描述。 单击可复制对应的语句。
如果被授权的项目属于相同区域(region)的不同用户,则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域(region)的同一用户,则需使用当前账号切换到对应的项目下。 应用示例 项目B需要访问项目A上的数据源,对应操作如下。 对于项目A: 使用项目A对应的账号登录DLI服务。 通过对应数
通过DLI跨源写DWS表,非空字段出现空值异常怎么办? 问题现象 客户在DWS建表,然后在DLI创建跨源连接读写该表,突然出现如下异常,报错信息显示DLI向该表某非空字段写入了空值,因为非空约束存在导致作业出错。 报错信息如下: DLI.0999: PSQLException: ERROR:
已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月资源仍可正常使用。然而,对于涉及费用的操作,如新购资源、弹性资源池规格变更、续费订单等,用户将无法正常进行。 按需计费 当您的账号因按需DLI资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,资源进入宽限期,不
约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服务授权需要区分项目,请在每个需要新委托的项目分别执行更新委托操作,即切换至对应项目后,再按照本节的操作更新委托权限。 更新DLI委托权限(dli_management_agency) 在DLI控制台左侧导航栏中单击“全局配置
REVOKE_PRIVILEGE:权限回收 SHOW_PRIVILEGES:查看其它用户具备的权限 RESTART:重启队列 SCALE_QUEUE:规格变更 说明: 若需更新的权限列表为空,则表示回收用户在该队列的所有权限。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
但不能回收该队列所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该队列的权限。 重启队列权限:重启此队列的权限。 规格变更:修改队列规格的权限。 为已有权限的用户赋予权限或回收权限。 在对应队列“权限信息”区域的用户列表中,选择需要修改权限的用户,在“操作”列单击“权限设置”。
duration Long 作业运行时长,单位毫秒。 status String 此作业的当前状态,包含运行中(RUNNING)、规格变更中(SCALING)、提交中(LAUNCHING)、已完成(FINISHED)、已失败(FAILED)、已取消(CANCELLED)。 input_row_count
方法复制资源名称。 图1 查找资源名称 根据资源ID在云服务的控制台查找资源并删除。 在控制台中选择“大数据 > 数据湖探索 DLI”,并切换选择资源所在区域。 选择“资源管理 > 队列管理”或“资源管理 > 弹性资源池”。 在搜索框中输入资源名称,单击图标即可查找到该资源。 图2
使用default创建DataSource表时引擎版本不低于Spark 3.3.1,如果引擎版本低于Spark 3.3.1则会提示上述错误信息,此时请切换使用Hive语法创建表。详细操作请参考使用Hive语法创建DLI表。 使用Spark 3.3.1执行jar作业报错 "xxx don`t support
使用default创建DataSource表时引擎版本不低于Spark 3.3.1,如果引擎版本低于Spark 3.3.1则会提示上述错误信息,此时请切换使用Hive语法创建表。详细操作请参考使用Hive语法创建DLI表。 使用Spark 3.3.1执行jar作业报错 "xxx don`t support
S来持久化元数据。虽然这些表对Hive来说是可见的,但Hive不太可能理解元数据。因此,在Hive中使用这样的表会导致未定义的行为。 建议切换到Hive方言来创建Hive兼容表。如果您想用默认的方言创建Hive兼容表,确保在您的表属性中设置'connector'='hive',否
Hive方言时,Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性,改善与Hive的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink Hive 方言 使用HiveCatalog,Apache Flink可以用于统一处理Apache
servers=<yourKafkaAddress1>:<yourKafkaPort>,<yourKafkaAddress2>:<yourKafkaPort> 将ecs切换到confluent-5.5.2目录下,使用下述命令启动confluent: bin/schema-registry-start etc/