检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数
资源管理:当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除:当前用户可删除此弹性资源池。 规格变更:当前用户对于包年包月的弹性资源池可以执行规格变更操作。 赋权:当前用户可将弹性资源池的操作权限赋予其他用户。 回收:当前用户可回收其他用户具备的该弹性资源池的权限,但不能回收该弹性资源池所有者的权限。
Integer 偏移量。默认为0。 status 否 String 弹性资源池状态。具体参数范围如下: AVAILABLE:可使用 SCALING:规格变更中 CREATING:创建中 FAILED:已失败 tags 否 String 查询根据标签进行过滤。 请求消息 无。 响应消息 表3 响应参数说明
用户可以将所创建的Flink作业导出至OBS桶中。 适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。 切换项目或用户时,需要对新项目或用户授权,具体请参考配置Flink作业权限。
示例4:创建OBS非分区表,并自定义列字段数据类型 示例说明:创建名为table2的OBS非分区表,您可以根据业务需求自定义列字段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT
中大部分时间CU数在128CU以上,没有规格变更的场景下64CU部分采用包年包月计费,超出的64CU按弹性资源池CU时计费方式计费。 为了满足该场景下更优惠的计费,则可以通过规格变更的方式,将弹性资源池的规格扩大到128CU,则规格变更成功后128CU范围内都使用包年包月计费,整
在“分配至项目”页面,选择企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费,弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后,单击“确定”,保存队列的企业项目信息。 相关操作
配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if
如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 如果您的SQL队列已开启作业结果保存至DLI作业桶,请务必在提交SQL作业前配置D
填写认证信息,详细参数说明请参考表6。 表6 跨源认证参数说明 参数 参数说明 类型 选择Password。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 用户名称 访问RDS实例用户名。 用户密码 RDS实例登录密码。
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列
“properties.”后的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties." 前缀,并将转换后的键名以及值传入KafkaClient。 例如:您可以通过 'properties.allow.auto.create.topics' =
参数。 选项的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties." 前缀,并将转换后的键名以及值传入 KafkaClient。 例如:您可以通过 'properties.allow.auto.create.topics'
DATA_MIGRATION:数据迁移。 RESTART_QUEUE:重启队列。 SCALE_QUEUE: 队列规格变更(扩容/缩容)。 状态 作业的状态信息,包括如下。 提交中 运行中 已成功 已取消 已失败 规格变更中 执行语句 作业的具体SQL语句以及导出、建表的操作,此处展示操作的描述。 单击可复制对应的语句。
如果被授权的项目属于相同区域(region)的不同用户,则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域(region)的同一用户,则需使用当前账号切换到对应的项目下。 应用示例 项目B需要访问项目A上的数据源,对应操作如下。 对于项目A: 使用项目A对应的账号登录DLI服务。 通过对应数
已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月资源仍可正常使用。然而,对于涉及费用的操作,如新购资源、弹性资源池规格变更、续费订单等,用户将无法正常进行。 按需计费 当您的账号因按需DLI资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,资源进入宽限期,不
约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服务授权需要区分项目,请在每个需要新委托的项目分别执行更新委托操作,即切换至对应项目后,再按照本节的操作更新委托权限。 更新DLI委托权限(dli_management_agency) 在DLI控制台左侧导航栏中单击“全局配置
据库和表数据,则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables 查询Hive表的建表语句 show
non-strict模式,对主键表采用insert处理。 upsert模式,对于主键表的重复值进行更新操作。 在提交Spark SQL作业时,用户可以在设置中配置以下参数,切换bulk insert作为Insert语句的写入方式。 hoodie.sql.bulk.insert.enable = true hoodie
REVOKE_PRIVILEGE:权限回收 SHOW_PRIVILEGES:查看其它用户具备的权限 RESTART:重启队列 SCALE_QUEUE:规格变更 说明: 若需更新的权限列表为空,则表示回收用户在该队列的所有权限。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success