检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域
环境准备 在进行Spark 作业访问DLI元数据开发前,请准备以下开发环境。 表1 Spark Jar作业开发环境 准备项 说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ
Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop jar包冲突,导致Flink提交失败 Flink作业提交错误,如何定位 父主题: Flink作业类
认证服务用户指南》中的创建用户组。 注意事项 如果需要查看主账号下数据库中的表,需要对当前子账号用户授权(显示权限),具体请参考常用操作与系统权限关系。 如果表被删除后,再重新创建同名的表,表权限不会继承,需要对操作该表的用户和项目重新进行权限赋予。 例如,testTable表给
DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource
DWS输出流(通过OBS转储方式) EdgeHub输出流(EOS) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 count 否 Integer 全局变量数量。 global_vars 否 Array of Objects
DLI.0006 对象已存在错误。 400 DLI.0007 不支持该操作。 400 DLI.0008 元数据错误。 400 DLI.0009 系统限制。 400 DLI.0011 文件权限校验错误。 400 DLI.0012 资源对象不可用。 401 DLI.0013 用户认证错误。
介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行,可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键,HBase连接器默认取rowkey作为主键。详情可参考HBase
Strings 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径,例如:obs://桶名/包名。 modules 否 Array of Strings 依赖的系统资源模块名,具体模块名可通过查询组内资源包(废弃)接口查看。 DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下:
指定获取作业结果的执行队列名称。若不指定则使用默认的系统队列 请求消息 无请求参数。 响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。
弹性资源池单个计费周期内小于1CU的向上取整。 弹性资源池扩缩容的开始时间点是以实际扩缩容成功后时间点开始计算,不是按照扩缩容配置的时间开始计费。 弹性资源池队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。 当业务发生调整,对这部分CU没有使用需求时,请及时清理释放资源,否则扩容的CU会持续计费。
结果行数,范围: [1, 1000]。默认值为:1000。 queue-name 否 String 指定获取作业结果的执行队列名称。若不指定则使用默认的系统队列。 带入query参数的URL示例如下: GET /v1.0/{project_id}/jobs/{job_id}/preview?p
contact DLI service. [ERROR] Error message:Execution Timeout 问题原因 default队列是系统预置的默认公共队列,主要用来体验产品功能。当多个用户通过该队列提交作业时,容易发生流控,从而导致作业提交失败。 解决方案 建议不要使用de
步骤一:数据准备 MRS集群上创建Hive表和插入表数据。 参考访问MRS Manager登录MRS Manager。 在MRS Manager上,选择“系统 > 权限 > 角色”,单击“ 添加角色 ”,在添加角色页面分别配置参数。 角色名称:输入自定义的“角色名称”,例如当前输入为:hivetestrole。
步骤一:数据准备 MRS集群上创建Hive表和插入表数据。 参考访问MRS Manager登录MRS Manager。 在MRS Manager上,选择“系统 > 权限 > 角色”,单击“ 添加角色 ”,在添加角色页面分别配置参数。 角色名称:输入自定义的“角色名称”,例如当前输入为:hivetestrole。
表1 参数说明 参数名称 参数说明 计费模式 选择弹性资源池计费模式。 区域 选择弹性资源池所在区域。 项目 每个区域默认对应一个项目,由系统预置。 名称 弹性资源池名称。 规格 选择弹性资源池规格。 CU范围 弹性资源池最大最小CU范围。 网段 规划弹性资源池所属的网段。如需使
参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "Deleted"
参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "Deleted"
当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态,资源将陆续进入宽限期和保留期。 图2 按需计费的DLI资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响