华为云用户手册

  • 响应消息 参数说明 表3 参数说明 名称 参数类型 是否必选 描述 job_id String 是 工作流ID。 security_group_id String 是 新的安全组ID列表。 响应示例 { "job_id":"3711e2ad-5787-49bc-a47f-3f0b066af9f5", "security_group_id":"73bed21a-708b-4985-b697-a96d0e0d2b39" }
  • 请求消息 参数说明 表1 请求参数 名称 类型 IN 是否必选 描述 X-Auth-Token string header 是 参数解释: 从 IAM 服务获取的用户Token。请参考认证鉴权。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 project_id string path 是 参数解释: 租户在某一Region下的项目ID。请参考获取项目ID章节获取项目编号。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 instance_id string path 是 参数解释: 实例ID,可以调用“查询实例列表和详情”接口获取。如果未申请实例,可以调用“创建实例”接口创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。
  • URI URI格式 GET https://{Endpoint}/v3/{project_id}/instances/{instance_id}/balancer URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/cc6345c64cec47499182467ea0dd432ain02/balancer
  • 响应消息 参数说明 表3 参数说明 名称 参数类型 说明 list List 慢日志下载链接列表。 详情请参见表4。 status String 慢日志下载链接生成状态。 FINISH,表示下载链接已经生成完成。 CREATING,表示正在生成文件,准备下载链接。 FAILED,表示存在日志文件准备失败。 count Integer 慢日志链接数量。 表4 list字段数据结构说明 名称 参数类型 说明 node_name String 节点名称。 file_name String 生成的下载文件名。 status String 当前链接的生成状态。 SUC CES S,表示下载链接已经生成完成。 EXPORTING,表示正在生成文件,准备下载链接。 FAILED,表示存在日志文件准备失败。 file_size String 文件大小,单位为 KB。 file_link String 下载链接。 说明: 下载链接在更新时间的15分钟内有效,超出时间会重新获取。 update_at Long 更新时间。 响应示例 { "list": [ { "node_name": "dds-2a78_replica_node_3", "file_name": "054bc9f81e80d2201fccc00b92ad6ec0_ca327a60b3084fa79ce072d7299b905ano02_slowlog_20201117060412", "status": "SUCCESS", "file_size": "0", "file_link": "https://rdsbucket.xxxr.obs.cn-xianhz-1.myhuaweicloud.com:443/054bc9c1f680d55c1f36c006e5a9f67b_slowlog_download_20200515080614589?AWSAccessKeyId=1BQ38TBCQHAVQXBUMUTC&Expires=1589530200&response-cache-control=no-cache%2Cno-store&Signature=Fgi4%2BLOJ9frAXyOkz5hRoW5O%2BUM%3D", "update_at": 1605593100566 } ], "status": "FINISH", "count": 1 }
  • URI URI格式 POST https://{Endpoint}/v3/{project_id}/instances/{instance_id}/slowlog-download URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0483b6b16e954cb88930a360d2c4e663/instances/6ade8143870047b8999aba8f1891b48ein02/slowlog-download
  • 请求示例 获取慢日志下载链接,按照需要下载的文件的文件名列表或节点ID列表 { "file_name_list":["0541c9f81e80d2201fccc00b92ad6ec0_052f8a12dfed43fbb27c2020e3c3c507no02_slowlog_20201117104809"], "node_id_list":["052f8a12dfed43fbb27c2020e3c3c507no02"] }
  • 请求消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 file_name_list Array of strings 否 需要下载的文件的文件名列表。 node_id_list Array of strings 否 节点ID列表,取空值,表示查询实例下所有允许查询的节点。 使用请参考《DDS API参考》的“查询实例列表”响应消息表“nodes 数据结构说明”的“id”。 允许查询的节点如下: 集群下面的shard节点。 副本集、单节点下面的所有节点。
  • 响应消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 backup_policy Object 是 备份策略对象,包括备份保留的天数和备份开始时间。详情请参见表3。 表3 backup_policy字段数据结构说明 名称 参数类型 是否必选 描述 keep_days Integer 是 备份文件可以保存的天数。 start_time String 否 备份时间段。自动备份将在该时间段内触发。 period String 否 备份周期配置。自动备份将在每星期指定的天进行。 enable_incremental_backup Boolean 否 是否开启增量备份。true:表示增量备份策略为开启状态;false:表示增量备份策略为关闭状态。 响应示例 状态码: 200 Success. { "backup_policy" : { "keep_days" : 7, "start_time" : "19:00-20:00", "period" : "1,2,4,5,6", "enable_incremental_backup" : true } }
  • URI URI格式 GET https://{Endpoint}/v3/{project_id}/instances/{instance_id}/backups/policy URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/97b026aa9cc4417888c14c84a1ad9860/instances/cc6345c64cec47499182467ea0dd432ain02/backups/policy
  • 请求消息 参数说明 表1 请求参数 名称 类型 IN 是否必选 描述 X-Auth-Token string header 是 参数解释: 从IAM服务获取的用户Token。请参考认证鉴权。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 project_id string path 是 参数解释: 租户在某一Region下的项目ID。请参考获取项目ID章节获取项目编号。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 instance_id string path 是 参数解释: 实例ID,可以调用“查询实例列表和详情”接口获取。如果未申请实例,可以调用“创建实例”接口创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 请求示例 备份策略开启,包括自动备份策略和增量备份策略: GET https://{endpoint}/v3/054e292c9880d4992f02c0196d3ea468/instances/3d39c18788b54a919bab633874c159dfin02/backups/policy { "backup_policy" : { "keep_days" : 7, "start_time" : "19:00-20:00", "period" : "1,2,4,5,6", "enable_incremental_backup" : true } } 自动备份策略开启,但增量备份策略关闭: GET https://{endpoint}/v3/054e292c9880d4992f02c0196d3ea468/instances/3d39c18788b54a919bab633874c159dfin02/backups/policy { "backup_policy" : { "keep_days" : 7, "start_time" : "19:00-20:00", "period" : "1,2,4,5,6", "enable_incremental_backup" : false } } 备份策略关闭,包括自动备份策略和增量备份策略: GET https://{endpoint}/v3/054e292c9880d4992f02c0196d3ea468/instances/3d39c18788b54a919bab633874c159dfin02/backups/policy { "backup_policy" : { "keep_days" : 0 } }
  • 响应消息 参数说明 表3 参数说明 名称 参数类型 是否必选 描述 job_id String 是 工作流ID。 node_id String 是 节点ID。 new_ip String 是 新的内网IP。 响应示例 { "job_id":"3711e2ad-5787-49bc-a47f-3f0b066af9f5", "node_id":"52a4c096bb1f455d8d866956a959519eno02", "new_ip":"192.168.0.133" }
  • URI URI格式 POST https://{Endpoint}/v3/{project_id}/instances/{instance_id}/modify-internal-ip URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/9136fd2a9fcd405ea4674276ce36dae8in02/modify-internal-ip
  • URI URI格式 DELETE https://{Endpoint}/v3/{project_id}/instances/{instance_id}/db-user URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/f032c0db12d147ef87317efdfacbbe15in02/db-user
  • 请求消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 user_name String 是 数据库用户名称,系统自带的数据库用户不可删除。 取值范围:长度为1~64位,可以包含大写字母(A~Z)、小写字母(a~z)、数字(0~9)、中划线、下划线和点。 db_name String 是 用户所在的数据库。 取值范围:长度为1~64位,可以包含大写字母(A~Z)、小写字母(a~z)、数字(0~9)、下划线。 请求示例 { "user_name":"test" , "db_name":"test_db" }
  • 请求消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 user_name String 否 数据库用户名称。 默认为“rwuser”用户,也支持“sharduser”、“csuser”用户。 取值范围:长度为1~64位,可以包含大写字母(A~Z)、小写字母(a~z)、数字(0~9)、中划线、下划线和点。 user_pwd String 是 数据库密码。 取值范围:长度为8~32位,必须是大写字母(A~Z)、小写字母(a~z)、数字(0~9)、特殊字符~!@#%^*-_=+?的组合。 建议您输入高强度密码,以提高安全性,防止出现密码被暴力破解等安全风险。 db_name String 否 数据库名称,默认为“admin”。
  • URI URI格式 PUT https://{Endpoint}/v3/{project_id}/instances/{instance_id}/reset-password URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/cc6345c64cec47499182467ea0dd432ain02/reset-password
  • URI URI格式 POST https://{Endpoint}/v3/{project_id}/instances/{instance_id}/tags/action URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/cc6345c64cec47499182467ea0dd432ain02/tags/action
  • 请求消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 action String 是 操作标识。取值: create,表示添加标签。 delete,表示删除标签。 tags Array of objects 是 标签列表。详情请参见表3。 说明: 删除标签时,不对该参数做字符集校验。 表3 tags字段数据结构说明 名称 参数类型 是否必选 描述 key String 是 标签键。 key不能为空,长度1~128个半角字符。 可用 UTF-8 格式表示的字母(包含中文)、数字和空格,以及以下字符: _ . : / = + - @。 _sys_开头属于系统标签,租户不能输入。 字符集:0-9,A-Z,a-z,“_”,“-”,中文。 value String 否 标签值。 可用 UTF-8 格式表示的字母(包含中文)、数字和空格,以及以下字符: _ . : / = + - @。 可以为空(empty or null),长度0~255个半角字符。 字符集:0-9,A-Z,a-z,“_”,“.”,“-”,中文。 “action”值为“create”时,该参数必选。 “action”值为“delete”时,该参数可选。 说明: 删除标签时,如果value有值,则按照key/value匹配删除;如果value没有值,则按照key删除。
  • 请求示例 批量添加2个标签 { "action": "create", "tags": [ { "key": "key1", "value": "value1" }, { "key": "key", "value": "value3" } ] } 批量删除2个标签 { "action": "delete", "tags": [ { "key": "key1" }, { "key": "key2", "value": "value3" } ] }
  • 请求消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 role_name String 是 创建角色名称。 取值范围:长度为1~64位,可以包含大写字母(A~Z)、小写字母(a~z)、数字(0~9)、中划线、下划线和点。 roles Array of objects 否 新建角色所继承的角色列表。请参见表3。 db_name String 否 角色所在的数据库名称,默认admin。 取值范围:长度为1~64位,可以包含大写字母(A~Z)、小写字母(a~z)、数字(0~9)、下划线。 表3 roles字段数据结构说明 名称 参数类型 是否必选 描述 role_db_name String 是 被继承角色所在数据库名称。 取值范围:长度为1~64位,可以包含大写字母(A~Z)、小写字母(a~z)、数字(0~9)、下划线。 role_name String 是 被继承角色的名称。 取值范围:长度为1~64位,可以包含大写字母(A~Z)、小写字母(a~z)、数字(0~9)、中划线、下划线和点。
  • URI URI格式 POST https://{Endpoint}/v3/{project_id}/instances/{instance_id}/db-role URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/659914406d2c4c76bce6a028ce8d8e0din02/db-role
  • URI URI格式 GET https://{Endpoint}/v3/{project_id}/instances/{instance_id}/migrate/az URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/9136fd2a9fcd405ea4674276ce36dae8in02/migrate/az
  • 请求消息 参数说明 表1 请求参数 名称 类型 IN 是否必选 描述 X-Auth-Token string header 是 参数解释: 从IAM服务获取的用户Token。请参考认证鉴权。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 project_id string path 是 参数解释: 租户在某一Region下的项目ID。请参考获取项目ID章节获取项目编号。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 instance_id string path 是 参数解释: 实例ID,可以调用“查询实例列表和详情”接口获取。如果未申请实例,可以调用“创建实例”接口创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。
  • 响应消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 az_list Array of objects 是 可用区具体信息。详情请参见表3。 表3 az_list 字段数据结构说明 名称 参数类型 是否必选 描述 code String 是 可用区ID。 description String 是 可用区描述。 status String 是 当前可用区的的状态。 ENABLED,表示该可用区(组合)可用。 DISABLED,表示该可用区(组合)不可用。 响应示例 { "az_list": [ { "code": "az3xahz", "description": "可用区3", "status": "DISABLED" } { "code": "az1xahz,az2xahz,az3xahz", "description": "可用区1,可用区2,可用区3", "status": "ENABLED" } ] }
  • RDS权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 RDS部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问RDS时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对RDS服务,管理员能够控制IAM用户仅能对某一类数据库资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,RDS支持的API授权项请参见策略及授权项说明。 如表1所示,包括了RDS的所有系统权限。 表1 RDS系统策略 策略名称/系统角色 描述 类别 依赖关系 RDS FullAccess 关系型数据库服务所有权限。 系统策略 购买包周期实例需要配置授权项: bss:order:update bss:order:pay 如果要使用存储空间自动扩容功能,IAM子账号需要添加如下授权项: 创建自定义策略: iam:agencies:listAgencies iam:agencies:createAgency iam:permissions:listRolesForAgencyOnProject iam:permissions:grantRoleToGroupOnProject iam:roles:listRoles iam:roles:createRole 添加系统角色:Security Administrator 选择该用户所在的一个用户组。 单击“授权”。 添加Security Administrator系统角色。 创建 RAM 共享KMS密钥的包周期实例,依赖IAM权限点: iam:agencies:listAgencies iam:roles:listRoles iam:agencies:pass iam:agencies:createAgency iam:permissions:grantRoleToAgency 其中RDS FullAccess已包含iam:agencies:listAgencies、iam:roles:listRoles、iam:agencies:pass权限。 由于RDS是Region级服务,而IAM是Global级服务,将RDS FullAccess授权给项目时,需要再授权BSS ServiceAgencyReadPolicy(全局级服务);如果将RDS FullAccess授权给全部项目,可正常使用IAM权限。 BSS ServiceAgencyCreatePolicy包含其他操作权限:iam:agencies:createAgency、iam:permissions:grantRoleToAgency。 RDS ReadOnlyAccess 关系型数据库服务资源只读权限。 系统策略 无。 RDS ManageAccess 关系型数据库服务除删除操作外的DBA权限。 系统策略 无。 RDS Administrator 关系型数据库服务管理员。 系统角色 依赖Tenant Guest和Server Administrator角色,在同项目中勾选依赖的角色。 仅添加RDS Administrator权限后,如果要使用存储空间自动扩容功能,IAM子账号需要添加的授权项请参见表3中的存储空间自动扩容的说明。 表2列出了RDS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 RDS FullAccess RDS ReadOnlyAccess RDS ManageAccess RDS Administrator 创建RDS实例 √ x √ √ 删除RDS实例 √ x x √ 查询RDS实例列表 √ √ √ √ 表3 常用操作与对应授权项 操作名称 授权项 备注 创建数据库实例 rds:instance:create rds:param:list 界面选择VPC、子网、安全组需要配置: vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:securityGroupRules:get 创建加密实例需要在项目上配置KMS Administrator权限。 购买包周期实例需要配置: bss:order:update bss:order:pay 变更数据库实例的规格 rds:instance:modifySpec 无。 扩容数据库实例的磁盘空间 rds:instance:extendSpace 无。 单机转主备实例 rds:instance:singleToHa 若原单实例为加密实例,需要在项目上配置KMS Administrator权限。 重启数据库实例 rds:instance:restart 无。 删除数据库实例 rds:instance:delete 无。 查询数据库实例列表 rds:instance:list 无。 实例详情 rds:instance:list 实例详情界面展示VPC、子网、安全组,需要对应配置vpc:*:get和vpc:*:list。 修改数据库实例密码 rds:password:update 无。 修改端口 rds:instance:modifyPort 无。 修改内网IP rds:instance:modifyIp 界面查询剩余ip列表需要: vpc:subnets:get vpc:ports:get 修改实例名称 rds:instance:modify 无。 修改运维时间窗 rds:instance:modify 无。 手动主备倒换 rds:instance:switchover 无。 修改同步模式 rds:instance:modifySynchronizeModel 无。 切换策略 rds:instance:modifyStrategy 无。 修改实例安全组 rds:instance:modifySecurityGroup 无。 绑定/解绑公网IP rds:instance:modifyPublicAccess 界面列出公网ip需要: vpc:publicIps:get vpc:publicIps:list 设置回收站策略 rds:instance:setRecycleBin 无。 查询回收站 rds:instance:list 无。 开启、关闭SSL rds:instance:modifySSL 无。 开启、关闭事件定时器 rds:instance:modifyEvent 无。 读写分离操作 rds:instance:modifyProxy 无。 申请内网 域名 rds:instance:createDns 无。 备机可用区迁移 rds:instance:create 备机迁移涉及租户子网下的IP操作,若为加密实例,需要在项目上配置KMS Administrator权限。 表级时间点恢复 rds:instance:tableRestore 无。 透明 数据加密 (Transparent Data Encryption,TDE)权限 rds:instance:tde 无。 修改主机权限 rds:instance:modifyHost 无。 查询对应账号下的主机 rds:instance:list 无。 获取参数模板列表 rds:param:list 无。 创建参数模板 rds:param:create 无。 修改参数模板参数 rds:param:modify 无。 应用参数模板 rds:param:apply 无。 修改指定实例的参数 rds:param:modify 无。 获取指定实例的参数模板 rds:param:list 无。 获取指定参数模板的参数 rds:param:list 无。 删除参数模板 rds:param:delete 无。 重置参数模板 rds:param:reset 无。 对比参数模板 rds:param:list 无。 保存参数模板 rds:param:save 无。 查询参数模板类型 rds:param:list 无。 设置自动备份策略 rds:instance:modifyBackupPolicy 无。 查询自动备份策略 rds:instance:list 无。 创建手动备份 rds:backup:create 无。 获取备份列表 rds:backup:list 无。 获取备份下载链接 rds:backup:download 无。 删除手动备份 rds:backup:delete 无。 复制备份 rds:backup:create 无。 查询可恢复时间段 rds:instance:list 无。 恢复到新实例 rds:instance:create 界面选择VPC、子网、安全组需要配置: vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:securityGroupRules:get 恢复到已有或当前实例 rds:instance:restoreInPlace 无。 获取实例binlog清理策略 rds:binlog:get 无。 合并binlog文件 rds:binlog:merge 无。 下载binlog文件 rds:binlog:download 无。 删除binlog文件 rds:binlog:delete 无。 设置binlog清理策略 rds:binlog:setPolicy 无。 获取数据库备份文件列表 rds:backup:list 无。 获取历史数据库列表 rds:backup:list 无。 查询数据库错误日志 rds:log:list 无。 查询数据库慢日志 rds:log:list 无。 下载数据库错误日志 rds:log:download 无。 下载数据库慢日志 rds:log:download 无。 开启、关闭审计日志 rds:auditlog:operate 无。 获取审计日志列表 rds:auditlog:list 无。 查询审计日志策略 rds:auditlog:list 无。 生成审计日志下载链接 rds:auditlog:download 无。 获取主备切换日志 rds:log:list 无。 创建数据库 rds:database:create 无。 查询数据库列表 rds:database:list 无。 查询指定用户的已授权数据库 rds:database:list 无。 删除数据库 rds:database:drop 无。 创建数据库账户 rds:databaseUser:create 无。 查询数据库账户列表 rds:databaseUser:list 无。 查询指定数据库的已授权账户 rds:databaseUser:list 无。 删除数据库账户 rds:databaseUser:drop 无。 授权数据库账户 rds:databasePrivilege:grant 无。 解除数据库账户权限 rds:databasePrivilege:revoke 无。 任务中心列表 rds:task:list 无。 删除任务中心任务 rds:task:delete 无。 包周期下单 bss:order:update 购买包周期实例需要配置授权项: bss:order:pay 用户标签操作 rds:instance:modify 标签相关操作依赖tms:resourceTags:*权限。 存储空间自动扩容 rds:instance:extendSpace 如果选择自动扩容,IAM主账号不需要添加授权项,IAM子账号需要添加如下授权项: 创建自定义策略: iam:agencies:listAgencies iam:agencies:createAgency iam:permissions:listRolesForAgencyOnProject iam:permissions:grantRoleToGroupOnProject iam:roles:listRoles iam:roles:createRole 添加系统角色:Security Administrator 选择该用户所在的一个用户组。 单击“授权”。 添加Security Administrator系统角色。 停止实例、开启实例 rds:instance:operateServer 无。 停止实例 rds:instance:stop 无。 开启实例 rds:instance:start 无。 修改数据库用户名备注 rds:databaseUser:update 无。
  • 功能描述 多版本功能计划废弃,不推荐使用。更多相关功能推荐:Hudi多版本清理操作、Hudi Archive操作说明。更 DLI 提供多版本功能,用于数据的备份与恢复。开启多版本功能后,在进行删除或修改表数据时(insert overwrite或者truncate操作),系统会自动备份历史数据并保留一定时间,后续您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。其他多版本SQL语法请参考多版本备份恢复数据(废弃,不推荐使用)。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。
  • 语法格式 开启多版本功能 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES ("dli.multi.version.enable"="true"); 关闭多版本功能 1 2 ALTER TABLE [db_name.]table_name UNSET TBLPROPERTIES ("dli.multi.version.enable"); 开启多版本功能后,在执行insert overwrite或者truncate操作时会自动在OBS存储路径下存储多版本数据。关闭多版本功能后,需要通过如下命令把多版本数据目录回收。 RESTORE TABLE [db_name.]table_name TO initial layout;
  • 示例 修改表test_table,开启多版本功能。 1 2 ALTER TABLE test_table SET TBLPROPERTIES ("dli.multi.version.enable"="true"); 修改表test_table,关闭多版本功能。 1 2 ALTER TABLE test_table UNSET TBLPROPERTIES ("dli.multi.version.enable"); 回退多版本路径。 RESTORE TABLE test_table TO initial layout;
  • 功能描述 多版本功能计划废弃,不推荐使用。更多相关功能推荐:Hudi多版本清理操作、Hudi Archive操作说明。更 在DLI数据多版本功能开启后,备份数据默认保留7天,您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语句时会自动进行清理。在添加列或者修改分区表时,也可以设置表属性“dli.multi.version.retention.days”调整保留周期。 开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本(废弃,不推荐使用)。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
  • 示例7:创建表并设置多字符的分隔符 示例说明:创建了一个名为table5的Hive表。表指定序列化和反序列化类ROW FORMAT SERDE,字段之间的分隔符被设置为/#,并且数据以文本文件格式存储。 只有指定ROW FORMAT SERDE为org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe时,字段分隔符才支持设置为多字符。 只有Hive OBS表支持在建表时指定多字符的分隔符,Hive DLI表不支持在建表时指定多字符的分隔符。 指定了多字符分隔的表不支持INSERT、IMPORT等写数语句。如需添加数据,请将数据文件直接放到表对应的OBS路径下即可,本例中,将数据文件放到obs://bucketName/filePath下。 本例指定字段分隔符 field.delim'为“/#”。 ROW FORMAT功能只支持textfile类型的表。 1 2 3 4 5 6 7 8 9 10 CREATE TABLE IF NOT EXISTS table5 ( col_1 STRING, col_2 INT ) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ( 'field.delim' = '/#' ) STORED AS textfile LOCATION 'obs://bucketName/filePath';
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全