华为云用户手册

  • 银行卡归属地查询 输入参数 用户配置银行卡归属地查询执行动作,入参的参数参见表2。 表2 银行卡归属地查询入参说明 参数 必填 说明 银行卡号 是 银行卡号 是否需要返回银行卡BIN码信息和银联luhn校验 否 1表示需要,0表示不需要,默认不会返回这些信息。返回这些信息将使得查询更加耗时。 输出参数 用户可以在之后的执行动作中调用该输出参数,详细输出参数参见表3。 表3 银行卡归属地查询出参说明 参数 类型 说明 showapi_res_body Object 消息体的JSON封装 -area string 地区 -cardType string 银行卡种 -brand string 银行卡产品名称 -tel string 银行客服 -bankName string 银行名称 -url string 银行官网 -ret_code string 0为成功,其他失败。 -simpleCode string 银行简码 -formatBankName string 规范化的银行名称 -logo string 银行logo -银行卡Bin码 string 银行卡Bin码 -bin_digits string 银行卡Bin码长度 -card_digits string 银行卡的卡号长度 -isLuhn string 是否能通过中国银联Luhn效验,1表示可以,0表示不能,空字符串表示不支持。
  • 查询集群详情 输入参数 输入参数说明如表9所示。 表9 查询集群详情输入参数说明 参数 必填 说明 集群ID 是 集群ID。 可以通过查询集群列表获取集群ID。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表10。 表10 查询集群详情输出参数说明 参数 说明 集群节点信息 集群节点信息 -节点名称 集群节点的名称。 -节点ID 集群节点ID。 -节点是否冻结 集群节点是否冻结。 -节点类型 集群节点类型。 -节点操作状态 集群节点操作状态。 -节点配置状态 集群节点配置状态。 -集群状态 集群状态。 集群状态描述 集群状态描述。 集群名称 集群名称。 集群ID 集群ID。 是否冻结 集群是否冻结。 集群配置状态 集群配置状态。 集群状态 集群状态。
  • 查询作业 输入参数 输入参数说明如表4所示。 表4 查询作业输入参数说明 参数 必填 说明 指定作业类型 是 指定作业类型。支持输入框和下拉框两种模式。 NORMAL_JOB:查询表/文件迁移的作业 BATCH_JOB:查询整库迁移的作业 SCENARIO_JOB:查询场景迁移的作业 每页作业数 是 每页作业数。 指定作业页号 是 指定作业页号。 集群ID 是 集群ID。 作业名 是 作业名。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表5。 表5 查询作业输出参数说明 参数 说明 作业数 作业数。 作业列表 作业列表。 -作业类型 作业类型。 -源端连接类型 源端连接类型。 -目的连接参数配置 目的连接参数配置。 -目的端连接名称 目的端连接名称。 -目的端连接类型 目的端连接类型。 -作业名称 作业名称。 -源端连接名称 源端连接名称。 页号 页号。 页大小 页大小。
  • 启动作业 输入参数 输入参数说明如表2所示。 表2 启动作业输入参数说明 参数 必填 说明 集群ID 是 集群ID。 作业名称 是 作业名称。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表3。 表3 启动作业输出参数说明 参数 说明 作业运行信息 作业运行信息。 -作业名称 作业名称。 -创建用户 创建用户。 -创建时间 创建时间。 -作业进度 作业进度。 -作业状态 作业状态。
  • 吉凶测试 输入数字号码查询预测吉凶,测试结果仅供娱乐,请勿迷信。 输入参数 用户配置吉凶测试执行动作,相关参数说明如表2所示。 表2 吉凶测试输入参数说明 参数 必填 说明 示例值/默认值 输入待测试号码 是 手机号码、QQ号、门牌号、车牌号等各类数字号码通过周易数理进行吉凶测试。 138001381235 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 吉凶测试输出参数说明 参数 说明 示例值/默认值 测试结论 测试预测结果。 消灭万难,有贵人助,驾驭时机,可得告捷。 数理 测试结果数字。 17 概述 测试结果大概描述。 排除万难且会有贵人帮助... 吉凶结果 是否为吉或凶。 吉 数字评分 对该结果评分。 60
  • 删除模型实例数据 应用服务器可调用此接口删除数字工厂平台的指定模型实例数据。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表9。 表9 删除模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record_id String 是 模型实例数据ID,用于唯一标识一个模型实例数据。 无 abc***fffff 输出参数 无。
  • 获取模型ID 在调用接口时,API的请求参数需要填入模型ID。 登录华为云数字工厂企业平台。 在左侧导航单击“建模 ”,在“模型构建器”区域下,单击相应的模型卡片,进入模型详情界面。 这里以产品模型为例。其他模型同理。 获取模型ID。 进入产品模型管理界面,单击需要获取的模型ID,如图1所示。 图1 产品模型管理 进入事务模型管理界面,单击需要获取的模型ID,如图2所示。 图2 事务模型管理 进入产品模型管理界面,查看子模型(结构模型、业务规则)的模型ID,如图3所示。 图3 产品模型管理
  • 修改模型实例数据 应用服务器可调用此接口修改数字工厂平台的指定模型实例数据。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表8。 表8 修改模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record_id String 是 模型实例数据ID,用于唯一标识一个模型实例数据。 无 abc***fffff record Object 是 模型动态信息数据,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" } 输出参数 无。
  • 查询模型实例数据 应用服务器可调用此接口查询数字工厂平台指定模型实例数据详情信息。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表6。 表6 查询模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record_id String 是 模型实例数据ID,用于唯一标识一个模型实例数据。 无 abc***fffff 输出参数 用户可以在之后的执行动作中调用该输出参数,参数说明请参考表7。 表7 查询模型实例数据输出参数说明 参数 类型 说明 默认值 示例值 record_id String 模型实例数据ID。 无 aaabxxsax record Object 模型实例数据结构体,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" }
  • 查询模型实例数据列表 应用服务器可调用此接口查询数字工厂平台的模型实例数据列表,了解模型实例数据的概要信息。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表4。 表4 查询模型实例数据列表输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff limit Integer 否 分页查询时每页显示的记录数。取值范围:1~50的整数。 10 50 marker String 否 上一次分页查询结果中最后一条记录的ID。 ffffffffffffffffffffffff ffffffffffffffffffffffff parent_record_id String 否 上级模型实例数据唯一标识,查询子模型实例数据时必填。 无 aaabxxsax condition_type String 否 查询条件类型,所有条件(AND)、任意条件(OR)。 无 OR conditions Array 否 查询条件。 无 [ { "code":"id", "op":"equal", "value": "abceddddddd" } ] 输出参数 用户可以在之后的执行动作中调用该输出参数,参数说明请参考表5。 表5 查询模型实例数据列表输出参数说明 参数 类型 说明 默认值 示例值 records Array 模型实例数据列表。 无 aaabxxsax page Object 列表分页信息。 无 { "id": "id1", "name": "name1", "status": "enabled" }
  • 连接参数 连接器使用数字工厂分配的client_id和client_secret认证方式,连接前需要先登录数字工厂平台应用集成界面创建一个新应用,并获取到认证信息,请参考获取认证信息。 连接器验证,需要配置相关参数,参数说明请参考表1。 表1 连接器认证参数说明 参数 类型 是否必填 说明 默认值 示例值 应用标识 String 是 注册应用后,分配的client_id。获取方法请参见获取认证信息。 无 YVMBE***QIJCR 应用密钥 String 是 注册应用后,分配的client_secret。获取方法请参见获取认证信息。 无 ****** 实例ID String 是 实例ID。获取方法请参见获取对接信息。 无 aaa***bbb 站点编码 String 否 站点编码。企业层调用时必填,行业层调用时不需要填写。获取方法请参见获取对接信息。 无 DefaultSite
  • 创建模型实例数据 应用服务器可调用此接口创建数字工厂平台的模型实例数据。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表2。 表2 创建模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record Object 是 模型动态信息数据,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" } parent_record_id String 否 上级模型实例数据唯一标识,创建子模型实例数据时必填。获取方法请参见获取模型ID。 无 xxx 输出参数 用户可以在之后的执行动作中调用该输出参数,参数说明请参考表3。 表3 创建模型实例数据输出参数说明 参数 类型 说明 默认值 示例值 record_id String 模型实例数据ID。 无 aaabxxsax record Object 模型实例数据结构体,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" }
  • 节气信息查询 根据输入的节气名称和年份信息,给出该节气的日期范围,介绍,习俗等。 输入参数 用户配置节气信息查询执行动作,相关参数说明如表2所示。 表2 节气信息查询输入参数说明 参数 必填 说明 示例值/默认值 节气名称 是 24节气名称。 立春 年份 否 指定年份。 2020 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 节气信息查询输出参数说明 参数 说明 示例值/默认值 节气名称 查询的节气名称。 立春 节气图 该节气的节气图。 lichun.jpg 日期范围 日期范围。 2月4日或5日 公历日期 公历日期。 2020-02-04 农历日期 农历日期。 2020-1-11 农历年 农历年。 庚子 农历月 农历月。 正月 农历日 农历日。 十一 农历生肖 农历生肖。 鼠 诗句 该节气相关的诗句。 东风带雨逐西风,大地阳和暖气生。万物苏萌山水醒,农家岁首又谋耕。 介绍 该节气的介绍。 立春不仅是农历二十四节气中的第一个节气...... 习俗 该节气的习俗。 立春后,人们在春暖花开的日子里,喜欢外出游春...... 美食 该节气的美食。 立春时的食品主要是春饼、萝卜、五辛盘等,在南方则流行吃春卷...... 宜忌 该节气的宜忌。 立春后是疾病多发的季节。春天的多发病有肺炎、肝炎、流脑、麻疹......
  • 查看定时任务 登录COC。 在左侧菜单栏选择“自动化运维”,在“日常运维”模块单击“定时运维”,进入“定时运维”页面。 图20 查询列表 单击搜索框,弹出搜索条件列表;选择对应的搜索条件,输入对应的值,单击回车按钮即可搜索数据。搜索框后的图标依次支持:刷新列表数据、设置列表展示字段。 单击列表数据中对应任务名称,进入查看定时任务详情。 图21 查看定时任务详情 定时任务详情界面中,单击“执行脚本”或“作业ID”,右侧弹窗查看脚本或作业详情。 图22 查询详情 系统租户隔离,仅能查看租户账号或子账号创建的定时任务。
  • 审批定时运维 登录COC。 在左侧菜单栏选择“自动化运维”,在“日常运维”模块单击“定时运维”,进入“定时运维”页面。选择“状态”列为待审批的数据,单击任务名称,进入“定时任务详情”页面。 图26 审批定时任务 单击右上角“审批”,弹出审批结果弹窗,选择审批结果,输入审批意见。单击“确定”,即可完成审批操作。 图27 审批定时任务 仅能审批“审批人”列为当前登录账号的数据。审批通过的定时任务才可以被启用。
  • 启用、禁用定时任务 登录COC。 在左侧菜单栏选择“自动化运维”,在“日常运维”模块单击“定时运维”,进入“定时运维”页面。 单击列表“操作”列的“启用”、“禁用”,对定时任务进行启用或禁用。 图23 查看列表 1、用户仅能启用/禁用自己创建的定时任务。可查看当前租户账号下其他用户创建的定是任务。 2、任务启用后,开始生效,在后台创建定时调度,到达执行时间时开始执行。禁用后,在后台删除定时调度,不再执行。
  • COC自定义策略样例 示例1:授权用户创建运维事务 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "coc:task:create" ] } ] } 示例2:拒绝用户删除文档 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予COC FullAccess的系统策略,但不希望用户拥有COC FullAccess中定义的删除文档的权限,您可以创建一条拒绝删除文档的自定义策略,然后同时将COC FullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对COC执行除了删除文档外的所有操作。拒绝策略示例如下: { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "coc:document:delete" ] } ] } 示例3:多个授权项策略 一个自定义策略中可以包含多个授权项,且除了可以包含本服务的授权项外,还可以包含其他服务的授权项,可以包含的其他服务必须跟本服务同属性,即都是项目级服务。多个授权语句策略描述如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "coc:document:create", "scm:cert:complete" ] } ] }
  • 数据安全 权限点 管理员 开发者 运维者 访客 新建数据溯源任务 Y Y N N 删除数据溯源任务 Y Y N N 操作数据溯源任务 Y Y N N 查询数据溯源任务 Y Y Y Y 编辑数据溯源任务 Y Y N N 新建数据分类权限 Y Y Y N 删除数据分类权限 Y Y Y N 查询数据分类权限 Y Y Y Y 编辑数据分类权限 Y Y Y N 新建访问权限管理 Y Y N N 删除访问权限管理 Y Y N N 查询访问权限管理 Y Y Y Y 编辑访问权限管理 Y Y N N 新建动态策略 Y N N N 删除动态策略 Y N N N 查询动态策略 Y Y Y Y 编辑动态策略 Y N N N 新建密级 Y Y N N 删除密级 Y Y N N 查询密级 Y Y Y Y 编辑密级 Y Y N N 新建动态脱敏策略 Y N N N 删除动态脱敏策略 Y N N N 查询动态脱敏策略 Y Y Y Y 编辑动态脱敏策略 Y N N N 新建动态脱敏订阅策略 Y N N N 删除动态脱敏订阅策略 Y N N N 查询动态脱敏订阅策略 Y Y Y Y 新建资源权限策略 Y N N N 删除资源权限策略 Y N N N 查询资源权限策略 Y Y Y Y 编辑资源权限策略 Y N N N 操作安全任务调度 Y Y Y N 新建权限申请审批 Y Y Y N 查询权限申请审批 Y Y Y Y 编辑权限申请审批 Y Y Y N 新建用户同步任务 Y Y Y N 删除用户同步任务 Y Y Y N 查询用户同步任务 Y Y Y Y 编辑用户同步任务 Y Y Y N 新建数据脱敏任务 Y Y N N 删除数据脱敏任务 Y Y N N 操作数据脱敏任务 Y Y N N 查询数据脱敏任务 Y Y Y Y 编辑数据脱敏任务 Y Y N N 操作数据安全细粒度权限控制 Y N N N 查询数据安全细粒度权限控制 Y Y Y Y 编辑数据安全细粒度权限控制 Y N N N 新建权限集权限 Y Y Y N 删除权限集权限 Y Y Y N 查询权限集权限 Y Y Y Y 编辑权限集权限 Y Y Y N 查询总览 Y Y Y Y 新建权限跨源同步策略 Y N N N 删除权限跨源同步策略 Y N N N 查询权限跨源同步策略 Y Y Y Y 编辑权限跨源同步策略 Y N N N 查询成员管理 Y Y Y Y 编辑成员管理 Y Y Y N 新建权限集成员 Y Y Y N 删除权限集成员 Y Y Y N 查询权限集成员 Y Y Y Y 查询获取委托 Y Y Y Y 新建脱敏策略 Y Y N N 删除脱敏策略 Y Y N N 操作脱敏策略 Y Y Y Y 查询脱敏策略 Y Y Y Y 编辑脱敏策略 Y Y N N 查询数据访问审计 Y N N N 新建规则分组 Y Y Y N 删除规则分组 Y Y N N 操作规则分组 Y Y Y N 查询规则分组 Y Y Y Y 编辑规则分组 Y Y Y N 查询权限同步失败日志 Y Y Y Y 新建敏感发现任务 Y Y Y N 删除敏感发现任务 Y Y N N 操作敏感发现任务 Y Y Y N 查询敏感发现任务 Y Y Y Y 编辑敏感发现任务 Y Y N N 新建权限集 Y Y Y N 删除权限集 Y Y Y N 查询权限集 Y Y Y Y 编辑权限集 Y Y Y N 查询数据源 Y Y Y Y 查询目录权限策略 Y Y Y Y 新建行级访问策略 Y N N N 删除行级访问策略 Y N N N 查询行级访问策略 Y Y Y Y 编辑行级访问策略 Y N N N 新建队列策略 Y N N N 删除队列策略 Y N N N 查询队列策略 Y Y Y Y 编辑队列策略 Y N N N 新建安全诊断 Y N N N 查询安全诊断 Y Y Y Y 查询资源权限配置 Y Y N N 新建数据水印嵌入 Y Y N N 删除数据水印嵌入 Y Y N N 操作数据水印嵌入 Y Y N N 查询数据水印嵌入 Y Y Y Y 编辑数据水印嵌入 Y Y N N
  • 数据服务 权限点 管理员 开发者 运维者 访客 新建流控策略 Y Y N N 删除流控策略 Y Y N N 操作流控策略 Y Y Y N 查询流控策略 Y Y Y Y 编辑流控策略 Y Y N N 新建应用 Y Y N N 删除应用 Y Y N N 操作应用 Y Y Y N 查询应用 Y Y Y Y 编辑应用 Y Y N N 操作审核 Y Y Y N 查询审核 Y Y Y Y 新建API目录 Y Y Y N 删除API目录 Y Y Y N 查询API目录 Y Y Y Y 编辑API目录 Y Y Y N 操作集群 Y Y N N 查询集群 Y Y Y Y 新建审核人 Y N N N 删除审核人 Y N N N 操作审核人 Y Y Y N 查询审核人 Y Y Y N 新建API Y Y N N 删除API Y Y N N 操作API Y Y Y N 查询API Y Y Y Y 编辑API Y Y N N 查询数据源 Y Y N N 查询总览 Y Y Y Y
  • 数据目录 权限点 管理员 开发者 运维者 访客 查询数据源数据 Y Y Y N 操作任务实例 Y Y Y N 查询任务实例 Y Y Y Y 新建采集任务 Y Y N N 删除采集任务 Y Y N N 操作采集任务 Y Y Y N 查询采集任务 Y Y Y Y 编辑采集任务 Y Y N N 编辑审批单 Y Y N N 编辑资产报告 Y Y N N 新建标签 Y Y N N 删除标签 Y Y N N 查询标签 Y Y Y Y 编辑标签 Y Y N N 新建资产 Y Y N N 删除资产 Y Y N N 操作资产 Y Y Y N 查询资产 Y Y Y Y 编辑资产 Y Y N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N 新建分类 Y Y N N 删除分类 Y Y N N 查询分类 Y Y Y Y 编辑分类 Y Y N N 新建数据权限规则 Y N N N 删除数据权限规则 Y N N N 查询数据权限规则 Y Y Y Y 编辑数据权限规则 Y N N N
  • 数据质量 权限点 管理员 开发者 运维者 访客 数据质量监控 查询总览 Y Y Y Y 操作实例 Y Y Y N 查询实例 Y Y Y Y 新建规则模板 Y N N N 删除规则模板 Y N N N 操作规则模板 Y N N N 查询规则模板 Y Y Y Y 编辑规则模板 Y N N N 查询运行结果 Y Y N N 新建规则 Y Y N N 删除规则 Y Y N N 操作规则 Y Y Y N 查询规则 Y Y Y Y 编辑规则 Y Y N N 编辑质量评分 Y N N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N 业务指标监控 查询总览 Y Y Y Y 操作实例 Y Y Y N 查询实例 Y Y Y Y 新建业务场景 Y Y N N 删除业务场景 Y Y N N 操作业务场景 Y Y Y N 查询业务场景 Y Y Y Y 编辑业务场景 Y Y N N 新建指标 Y Y N N 删除指标 Y Y N N 查询指标 Y Y Y Y 编辑指标 Y Y N N 新建规则 Y Y N N 删除规则 Y Y N N 查询规则 Y Y Y Y 编辑规则 Y Y N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N
  • 数据开发 权限点 管理员 开发者 部署者 运维者 访客 新建Schema Y Y N N N 删除Schema Y Y N N N 查询Schema Y Y N Y Y 编辑Schema Y Y N N N 操作备份 Y Y N Y N 查询备份 Y Y N Y Y 新建补数据 Y Y N N N 操作补数据 Y Y N Y N 查询补数据 Y Y N Y Y 操作脏数据 Y Y N Y N 操作恢复备份 Y N N Y N 查询恢复备份 Y Y N Y Y 新建目录 Y Y N N N 删除目录 Y Y N N N 查询目录 Y Y N Y Y 编辑目录 Y Y N N N 新建通知 Y Y N N N 删除通知 Y Y N N N 查询通知 Y Y N Y Y 编辑通知 Y Y N N N 新建数据库 Y Y N N N 删除数据库 Y Y N N N 查询数据库 Y Y N Y Y 编辑数据库 Y Y N N N 新建解决方案 Y Y N N N 删除解决方案 Y Y N N N 操作解决方案 Y Y N Y N 查询解决方案 Y Y N Y Y 编辑解决方案 Y Y N N N 查询 IAM 代理 Y Y Y Y Y 更新IAM代理 Y N N N N 操作环境变量 Y Y N N N 查询环境变量 Y Y N Y Y 编辑环境变量 Y Y N N N 操作作业节点 Y Y N Y N 查看发布包 Y Y Y Y Y 操作发布包 Y N Y Y N 新建数据连接 Y Y N N N 删除数据连接 Y Y N N N 操作数据连接 Y Y N Y N 查询数据连接 Y Y N Y Y 编辑数据连接 Y Y N N N 撤销发布 Y Y Y Y N 新建数据表 Y Y N N N 删除数据表 Y Y N N N 查询数据表 Y Y N Y Y 编辑数据表 Y Y N N N 操作作业实例 Y Y N Y N 查询作业实例 Y Y N Y Y 新建资源 Y Y N N N 删除资源 Y Y N N N 操作资源 Y Y N Y N 查询资源 Y Y N Y Y 编辑资源 Y Y N N N 编辑环境变量映射 N N N N N 操作脚本编辑锁 Y Y N Y N 新建脚本 Y Y N N N 删除脚本 Y Y N N N 操作脚本 Y Y N Y N 查询脚本 Y Y N Y Y 编辑脚本 Y Y N N N 新建作业标签 Y Y N Y N 删除作业标签 Y Y N Y N 查询作业标签 Y Y N Y Y 新建作业 Y Y N N N 删除作业 Y Y N N N 操作作业 Y Y N Y N 查询作业 Y Y N Y Y 编辑作业 Y Y N Y N 查询作业编辑锁详情 Y Y N Y Y 操作作业编辑锁 Y Y N Y N
  • 数据架构 权限点 管理员 开发者 运维者 访客 新建原子指标 Y Y N N 删除原子指标 Y Y N N 查询原子指标 Y Y Y Y 编辑原子指标 Y Y N N 新建逻辑实体/物理表 Y Y N N 删除逻辑实体/物理表 Y Y N N 查询逻辑实体/物理表 Y Y Y Y 编辑逻辑实体/物理表 Y Y N N 新建配置中心 Y N N N 删除配置中心 Y N N N 查询配置中心 Y Y Y Y 编辑配置中心 Y N N N 新建主题设计 Y Y N N 删除主题设计 Y Y N N 查询主题设计 Y Y Y Y 编辑主题设计 Y Y N N 新建业务指标 Y Y N N 删除业务指标 Y Y N N 查询业务指标 Y Y Y Y 编辑业务指标 Y Y N N 新建汇总表 Y Y N N 删除汇总表 Y Y N N 查询汇总表 Y Y Y Y 编辑汇总表 Y Y N N 新建通用配置 Y Y N N 删除通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的删除操作) Y Y N N 操作通用配置 (指逻辑实体或表的导入、导出、发布、下线、同步、逆向等操作) Y Y Y N 查询通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的查询操作) Y Y Y Y 编辑通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的编辑操作) Y Y N N 删除维度表 Y Y N N 查询维度表 Y Y Y Y 新建流程设计 Y Y N N 删除流程设计 Y Y N N 查询流程设计 Y Y Y Y 编辑流程设计 Y Y N N 新建码表管理 Y Y N N 删除码表管理 Y Y N N 查询码表管理 Y Y Y Y 编辑码表管理 Y Y N N 新建模型 Y Y N N 删除模型 Y Y N N 查询模型 Y Y Y Y 编辑模型 Y Y N N 新建衍生/复合指标 Y Y N N 删除衍生/复合指标 Y Y N N 操作衍生/复合指标 Y Y N N 查询衍生/复合指标 Y Y Y Y 编辑衍生/复合指标 Y Y N N 新建关联质量规则 Y Y N N 删除关联质量规则 Y Y N N 查询关联质量规则 Y Y Y Y 编辑关联质量规则 Y Y N N 新建事实表 Y Y N N 删除事实表 Y Y N N 查询事实表 Y Y Y Y 编辑事实表 Y Y N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N 新建维度 Y Y N N 删除维度 Y Y N N 查询维度 Y Y Y Y 编辑维度 Y Y N N 新建时间限定 Y Y N N 删除时间限定 Y Y N N 查询时间限定 Y Y Y Y 编辑时间限定 Y Y N N 新建数据标准 Y Y N N 删除数据标准 Y Y N N 查询数据标准 Y Y Y Y 编辑数据标准 Y Y N N
  • 管理中心 权限点 管理员 开发者 运维者 访客 查询集群列表( MRS &DWS& CDM ) Y Y Y Y 新建数据库 Y Y N N 删除数据库 Y Y N N 查询数据库 Y Y Y Y 编辑数据库 Y Y N N 新建数据表 Y Y N N 删除数据表 Y Y N N 查询数据表 Y Y Y Y 编辑数据表 Y Y N N 新建资源迁移 Y Y N N 操作资源迁移 Y Y Y N 查询资源迁移 Y Y Y Y 新建数据连接 Y Y N N 删除数据连接 Y Y N N 操作数据连接 Y Y Y N 查询数据连接 Y Y Y Y 编辑数据连接 Y Y N N 删除RDS驱动包 Y N N N 操作RDS驱动包 Y N N N 查询RDS驱动包 Y Y Y Y 新建 DLI 资源映射配置 N N N N 删除DLI资源映射配置 N N N N 查询DLI资源映射配置 N N N N
  • DataArts Studio 控制台功能依赖的角色或策略 DataArts Studio服务各组件功能所需依赖服务的权限如表2所示。在实际授权场景中,推荐为开发者用户配置DataArts Studio服务级别的依赖服务最小权限(可参考如何最小化授权IAM用户使用DataArts Studio,为用户配置最小权限),开发者用户的最小依赖服务权限如表3所示。 在实际授权场景中,DAYU Administrator和DAYU User系统角色已经预置了依赖服务的管理员权限。为了避免普通用户/用户组被授予DAYU User系统角色导致其拥有的依赖服务权限过大的风险,您可以在为用户组授权DAYU User系统角色后,手动删除用户组的周边依赖权限,再为用户组授予所需依赖服务的最小权限合集。 表2 DataArts Studio控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 具体功能 管理中心 BSS bss:coupon:view bss:renewal:update bss:discount:view bss:order:view bss:order:pay bss:order:update 创建增量包或DataArts Studio实例 KMS kms:cmk:get kms:cmk:list kms:cmk:create kms:cmk:decrypt kms:cmk:encrypt kms:dek:create kms:dek:encrypt kms:dek:decrypt 创建数据连接时,使用KMS加解密 DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail 创建DWS数据连接 MRS mrs:cluster:get mrs:cluster:list 创建MRS数据连接 VPC vpc:publicIps:get vpc:publicIps:list vpc:vpcs:get vpc:subnets:get 创建MRS数据连接 RDS rds:*:get rds:*:list 创建RDS数据连接 数据集成 VPC vpc:publicIps:get vpc:publicIps:list vpc:vpcs:get vpc:vpcs:list vpc:subnets:get vpc:securityGroups:get vpc:firewalls:list vpc:routeTables:list vpc:subNetworkInterfaces:list 创建CDM集群或DataArts Studio实例 E CS ecs:flavors:get ecs:cloudServerFlavors:get ecs:availabilityZones:list 创建CDM集群或DataArts Studio实例 CDM cdm:cluster:create 创建CDM集群 KMS kms:cmk:get kms:cmk:list kms:cmk:create kms:cmk:decrypt kms:cmk:encrypt kms:dek:create kms:dek:encrypt kms:dek:decrypt 创建数据连接时,使用KMS加解密 MRS mrs:cluster:get mrs:cluster:list mrs:job:get mrs:job:list 创建MRS数据连接 DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail 创建DWS数据连接 CDM cdm:cluster:get cdm:cluster:list cdm:link:operate cdm:job:operate 通过CDM控制台操作时,需要CDM服务权限 CES ces:*:get ces:*:list 查看CES监控 CSS css:*:get css:*:list 创建CSS连接 CloudTable cloudtable:*:get cloudtable:*:list 创建CloudTable连接 RDS rds:*:get rds:*:list 创建RDS连接 RMS rms:resources:list 创建CDM集群 数据开发 OBS obs:object:GetObject obs:object:PutObject obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:bucket:CreateBucket 运行脚本、运行作业以及备份作业 SMN smn:topic:publish smn:topic:list 作业通知 KMS kms:cmk:get kms:cmk:list kms:cmk:create kms:cmk:decrypt kms:cmk:encrypt kms:dek:create kms:dek:encrypt kms:dek:decrypt 创建数据连接时,使用KMS加解密 MRS mrs:cluster:get mrs:cluster:list mrs:job:submit mrs:job:delete mrs:job:stop mrs:sql:execute mrs:sql:cancel mrs:job:get mrs:job:list MRS类型作业节点运行: MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce MRS Spark SQL、MRS Hive SQL DLI dli:queue:submitJob dli:jobs:create dli:jobs:update dli:jobs:get dli:jobs:list dli:jobs:listAll DLI类型作业节点运行: DLI SQL、DLI Spark OBS obs:object:GetObject obs:object:PutObject obs:object:DeleteObject obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:bucket:ListBucketVersions obs:bucket:CreateBucket obs:bucket:DeleteBucket OBS类型作业节点运行: Create OBS、Delete OBS、OBS Manager DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail 创建DWS数据连接 CDM cdm:cluster:get cdm:cluster:list cdm:job:operate 数据连接需要Agent的相关脚本、作业,以及CDM作业运行: RDS SQL、DWS SQL、Hive SQL、SPARK SQL、Shell、Python CES ces:metricData:list 运维概览,查询DLI队列CPU GES ges:graph:access ges:graph:operate ges:graph:list ges:graph:getDetail ges:metadata:create ges:metadata:operate ges:metadata:delete ges:metadata:list ges:metadata:getDetail ges:jobs:list ges:jobs:getDetail Import GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行,创建主机连接 DLI dli:queue:submitJob dli:queue:cancelJob dli:group:useGroup dli:group:getGroup dli:group:updateGroup dli:group:deleteGroup dli:group:listAllGroup dli:database:createDatabase dli:database:dropDatabase dli:database:displayDatabase dli:database:displayAllDatabases dli:database:explain dli:database:createView dli:database:createTable dli:database:displayAllTables dli:database:createFunction dli:database:describeFunction dli:database:showFunctions dli:database:dropFunction dli:table:select dli:table:update dli:table:delete dli:table:dropTable dli:table:describeTable dli:table:showCreateTable dli:table:showPartitions dli:table:showSegments dli:table:showTableProperties dli:table:insertOverwriteTable dli:table:insertIntoTable dli:table:compaction dli:table:truncateTable dli:table:alterView dli:table:alterTableRename dli:table:alterTableAddColumns dli:table:alterTableDropColumns dli:table:alterTableChangeColumn dli:table:alterTableSetLocation dli:table:alterTableAddPartition dli:table:alterTableRenamePartition dli:table:alterTableSetProperties dli:table:alterTableRecoverPartition dli:table:alterTableDropPartition dli:column:select dli:jobs:create dli:jobs:delete dli:jobs:start dli:jobs:stop dli:jobs:update dli:jobs:export dli:jobs:get dli:jobs:list dli:jobs:listAll dli:resource:useResource dli:resource:updateResource dli:resource:deleteResource dli:resource:getResource dli:resource:listAllResource dli:variable:update dli:variable:delete DLI类型作业/脚本运行 IAM iam:agencies:listAgencies 获取作业委托 DIS DIS Operator DIS User DIS类型作业节点运行: DIS Stream、DIS Dump、DIS Client SWR SWR Admin 仅当在数据开发组件作业中使用DLI Spark节点选择 自定义镜像 时,需要 容器镜像服务 中的镜像读取权限。 推荐通过镜像授权管理,添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色, 可能存在权限过大的风险。 数据目录 OBS obs:object:GetObject obs:bucket:GetBucketStorage obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket OBS元数据采集 DIS dis:streams:list dis:transferTasks:list DIS元数据采集 CSS css:cluster:list CSS元数据采集 GES ges:graph:list ges:graph:getDetail ges:metadata:list ges:metadata:getDetail GES元数据采集 DLI dli:database:displayDatabase dli:database:displayAllDatabases dli:table:select dli:table:describeTable dli:table:showPartitions dli:table:showTableProperties dli:jobs:create dli:jobs:get DLI元数据采集&数据概要分析 CDM cdm:cluster:list CSS元数据采集 数据质量 SMN smn:topic:publish smn:topic:list 配置作业通知 OBS obs:object:GetObject obs:object:PutObject obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:bucket:CreateBucket 导出质量报告 MRS mrs:job:submit mrs:sql:execute mrs:sql:cancel mrs:job:get MRS质量作业运行 DLI dli:queue:submitJob dli:jobs:get dli:jobs:listAll DLI质量作业运行 数据安全 DLI dli:queue:submitJob dli:queue:cancelJob dli:database:displayDatabase dli:database:displayAllDatabases dli:database:displayAllTables dli:table:describeTable dli:jobs:create dli:jobs:stop dli:jobs:get dli:resource:deleteResource dli:resource:getResource dli:resource:listAllResource DLI权限管控 DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail DWS权限管控 MRS mrs:cluster:list mrs:job:submit mrs:job:stop MRS权限管控 KMS kms:cmk:list kms:cmk:encrypt kms:cmk:decrypt 使用KMS加解密 CDM 任意cdm权限,例如cdm:cluster:get DWS和MRS权限管控 表3 开发者用户的依赖服务最小权限合集 权限类型 角色与策略权限-系统角色 角色与策略权限-自定义策略 角色与策略权限-自定义策略 是否必配 必配 必配 必配 权限 DIS Operator DIS User (可选,不推荐)SWR Admin 说明: 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时,需要容器 镜像服务 中的镜像读取权限。 推荐通过镜像授权管理,添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色, 可能存在权限过大的风险。 依赖的全局级(global级)云服务的自定义策略DataArtsStudio_PermissionsOfDependentServices_global: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:object:GetObject", "obs:object:PutObject", "obs:object:DeleteObject", "obs:bucket:GetBucketStorage", "obs:bucket:GetBucketLocation", "obs:bucket:ListAllMyBuckets", "obs:bucket:ListBucket", "obs:bucket:ListBucketVersions", "obs:bucket:CreateBucket", "obs:bucket:DeleteBucket", "rms:resources:list", "iam:agencies:listAgencies" ] } ] } 依赖的项目级(region级)云服务的自定义策略DataArtsStudio_PermissionsOfDependentServices_region: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "cdm:cluster:get", "cdm:cluster:list", "cdm:cluster:create", "cdm:link:operate", "cdm:job:operate", "ces:*:get", "ces:*:list", "cloudtable:*:get", "cloudtable:*:list", "css:*:get", "css:*:list", "dis:streams:list", "dis:transferTasks:list", "dli:queue:submitJob", "dli:queue:cancelJob", "dli:table:insertOverwriteTable", "dli:table:insertIntoTable", "dli:table:alterView", "dli:table:alterTableRename", "dli:table:compaction", "dli:table:truncateTable", "dli:table:alterTableDropColumns", "dli:table:alterTableSetProperties", "dli:table:alterTableChangeColumn", "dli:table:showSegments", "dli:table:alterTableRecoverPartition", "dli:table:dropTable", "dli:table:update", "dli:table:alterTableDropPartition", "dli:table:alterTableAddPartition", "dli:table:alterTableAddColumns", "dli:table:alterTableRenamePartition", "dli:table:delete", "dli:table:alterTableSetLocation", "dli:table:describeTable", "dli:table:showPartitions", "dli:table:showCreateTable", "dli:table:showTableProperties", "dli:table:select", "dli:resource:updateResource", "dli:resource:useResource", "dli:resource:getResource", "dli:resource:listAllResource", "dli:resource:deleteResource", "dli:database:explain", "dli:database:createDatabase", "dli:database:dropFunction", "dli:database:createFunction", "dli:database:displayAllDatabases", "dli:database:displayAllTables", "dli:database:displayDatabase", "dli:database:describeFunction", "dli:database:createView", "dli:database:createTable", "dli:database:showFunctions", "dli:database:dropDatabase", "dli:group:useGroup", "dli:group:updateGroup", "dli:group:listAllGroup", "dli:group:getGroup", "dli:group:deleteGroup", "dli:column:select", "dli:jobs:start", "dli:jobs:export", "dli:jobs:update", "dli:jobs:list", "dli:jobs:listAll", "dli:jobs:get", "dli:jobs:delete", "dli:jobs:create", "dli:jobs:stop", "dli:variable:update", "dli:variable:delete", "dws:cluster:list", "dws:cluster:getDetail", "dws:openAPICluster:getDetail", "ecs:servers:get", "ecs:servers:list", "ecs:servers:stop", "ecs:servers:start", "ecs:flavors:get", "ecs:cloudServerFlavors:get", "ecs:cloudServers:list", "ecs:availabilityZones:list", "ges:graph:access", "ges:metadata:create", "ges:jobs:list", "ges:graph:operate", "ges:jobs:getDetail", "ges:graph:getDetail", "ges:graph:list", "ges:metadata:list", "ges:metadata:getDetail", "ges:metadata:delete", "ges:metadata:operate", "kms:cmk:get", "kms:cmk:list", "kms:cmk:create", "kms:cmk:decrypt", "kms:cmk:encrypt", "kms:dek:create", "kms:dek:encrypt", "kms:dek:decrypt", "mrs:cluster:get", "mrs:cluster:list", "mrs:job:get", "mrs:job:list", "mrs:job:submit", "mrs:job:stop", "mrs:job:delete", "mrs:sql:execute", "mrs:sql:cancel", "rds:*:get", "rds:*:list", "smn:topic:publish", "smn:topic:list", "vpc:publicIps:list", "vpc:publicIps:get", "vpc:vpcs:get", "vpc:vpcs:list", "vpc:subnets:get", "vpc:securityGroups:get", "vpc:firewalls:list", "vpc:routeTables:list", "vpc:subNetworkInterfaces:list" ] } ] }
  • DataArts Studio权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 DataArts Studio部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DataArts Studio时,需要先切换至授权区域。 DataArts Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts Studio提供了系统角色+工作空间角色授权的能力,由工作空间角色授权具体的操作权限,并支持自定义不同权限点的工作空间角色。 IAM提供了以下两种授权机制。注意,DataArts Studio仅支持其中的IAM角色方式,不支持IAM策略。 IAM角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。传统的IAM角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 IAM策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。 如图1和表1所示,DataArts Studio的IAM系统角色包括DAYU Administrator和DAYU User;工作空间角色是基于IAM角色DAYU User进一步授予的,权限列表列出了DataArts Studio常用操作与工作空间角色的授权关系,您可以参照这些权限列表选择合适的角色。 图1 权限体系 表1 DataArts Studio系统角色 系统角色名称 描述 类别 DAYU Administrator 实例管理员,拥有对DataArts Studio实例及工作空间的所有管理权限、依赖服务权限,以及所有工作空间内的所有业务操作权限。 说明: Tenant Administrator具有除 统一身份认证 服务外,其他所有服务的所有执行权限。即Tenant Administrator权限的用户也拥有对DataArts Studio的所有执行权限。 系统角色 DAYU User 普通用户,具备DataArts Studio实例及工作空间的查看权限,以及依赖服务权限。普通用户需要被授予任一工作空间角色后,才能拥有对应角色的业务操作权限。 工作空间有管理员、开发者、部署者、运维者和访客五种预置角色和自定义角色,每种角色的介绍如下,具体操作权限请参见权限列表。 管理员:工作空间管理员,拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的权限可自由配置,实现业务操作权限最小化。 系统角色
  • GUC参数 表8 GUC参数 变更类型 序号 名称 变更描述 新增 1 space_readjust_schedule 用户、schema空间是否自动校准的参数,默认值:auto,支持范围:off/auto/auto(xxxK/M/G)。 2 space_once_adjust_num 空间管控和空间统计功能中,控制慢速构建与细粒度校准操作中每次处理的文件个数阈值,默认值:300。 3 tag_cache_max_number 该参数用于设置全局哈希表tag cache缓存item的最大阈值,默认值10000000。 4 enable_tagbucket_auto_adapt 该参数用于设置是否开启tagbucket自适应调整,默认值on。 5 cache_tag_value_num 该参数用于在tag列lateread场景时,设置缓存的tag元组数量,默认值60000。 6 buffer_ring_ratio 用于控制行存Ringbuffer的阈值和开关,默认值250,即1/4(250/1000),与以前逻辑一致。 7 enable_stream_ctescan 新增参数,升级默认关闭,新装默认打开。控制stream计划是否开启share scan功能。 8 behavior_compat_options 新增disable_including_all_mysql选项用于控制MySQL兼容模式下create table like语法是否为including all模式,默认不设置,create table like语法为including_all模式。 9 profile_logging_module 增加GUC参数profile_logging_module配置记录性能日志的类型,升级和新装均默认打开OBS,HADOOP,REMOTE_DATANODE,关闭MD。该参数方法与日志模块开关logging_module相同。 10 object_mtime_record_mode 控制pg_object记录修改时间的行为,默认保持老版本行为,新增选项可控制不记录分区/truncate/grant/revoke。 11 skew_option 控制是否使用优化策略。 12 ddl_lock_timeout 配置ddl锁超时的时间。 修改 13 rewrite_rule 新增选项orconversion,默认打开。 使用等值关联的OR条件优化规则。变更点:计划从nestloop转到hashjoin。 新增选项projection_pushdown,默认打开。 变更点:子查询/CTE/视图中未使用的列被优化删除。 14 default_orientation 新增userset guc参数default_orientation,用于控制用户默认建表(不设置orientation)的类型,参数有三种类型可以设置: 行存表(row),列存表(column),开启delta表的列存表(column enabledelta)。 15 max_process_memory 初始化安装时OM设置max_process_memory公式为:可用内存*0.7/(1+DN数),其中系数0.7改为0.8。老集群升级、扩容等场景不变。 16 enable_bloom_filter 复用原参数,现用于控制列存BloomFilter,默认值不变(打开)。 17 retry_ecode_list 默认值新增45003,主要是处理list分区表查询和add分区并发场景下,查询分区可能错位的问题。 18 auth_iteration_count 将默认值从50000减少到10000,新装、升级均会修改。参数表示客户端和服务端密码哈希迭代次数。
  • 语法 gs_dump [OPTION]... [DBNAME] “dbname”前面不需要加短或长选项。“dbname”指定要连接的数据库。 例如: 不需要-d,直接指定“dbname”。 gs_dump -p port_number testdb -f dump1.sql 或者 export PGDATABASE=testdb gs_dump -p port_number -f dump1.sql 环境变量:PGDATABASE
  • 参数说明 通用参数: -f, --file=FILENAME 将输出发送至指定文件或目录。如果省略该参数,则使用标准输出。如果输出格式为(-F c/-F d/-F t)时,必须指定-f参数。如果-f的参数值含有目录,要求目录对当前用户具有读写权限。 -F, --format=c|d|t|p 选择输出格式。格式如下: p|plain:输出一个文本SQL脚本文件(默认)。 c|custom:输出一个自定义格式的归档,并且以目录形式输出,作为gs_restore输入信息。该格式是最灵活的输出格式,因为能手动选择,而且能在恢复过程中将归档项重新排序。该格式默认状态下会被压缩。 d|directory:该格式会创建一个目录,该目录包含两类文件,一类是目录文件,另一类是每个表和blob对象对应的数据文件。 t|tar:输出一个tar格式的归档形式,作为gs_restore输入信息。tar格式与目录格式兼容;tar格式归档形式在提取过程中会生成一个有效的目录格式归档形式。但是,tar格式不支持压缩且对于单独表有8GB的大小限制。此外,表数据项的相应排序在恢复过程中不能更改。 -v, --verbose 指定verbose模式。该选项将导致gs_dump向转储文件输出详细的对象注解和启动/停止次数,向标准错误流输出处理信息。 -V, --version 打印gs_dump版本,然后退出。 -Z, --compress=0-9 指定使用的压缩比级别。 取值范围:0~9 0表示无压缩。 1表示压缩比最小,处理速度最快。 9表示压缩比最大,处理速度最慢。 针对自定义归档格式,该选项指定单个表数据片段的压缩,默认方式是以中等级别进行压缩。tar归档格式和纯文本格式目前不支持压缩。 --lock-wait-timeout=TIMEOUT 请勿在转储刚开始时一直等待以获取共享表锁。如果无法在指定时间内锁定某个表,就选择失败。可以以任何符合SET statement_timeout的格式指定超时时间。 -?, --help 显示gs_dump命令行参数帮助,然后退出。 转储参数:
  • 示例 使用gs_dump转储数据库为SQL文本文件或其它格式的操作,如下所示。 示例中“backup/MPPDB_backup.sql”表示导出的文件,其中backup表示相对于当前目录的相对目录;“37300”表示数据库服务器端口;“testdb”表示要访问的数据库名。 导出操作时,请确保该目录存在并且当前的操作系统用户对其具有读写权限。 示例1:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup.sql文件格式为纯文本格式。 gs_dump -U omm -f backup/MPPDB_backup.sql -p 37300 testdb -F p gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: The total objects number is 356. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: [100.00%] 356 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: total time: 1274 ms 使用gsql程序从纯文本导出文件中导入数据。 示例2:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup.tar文件格式为tar格式。 gs_dump -U omm -f backup/MPPDB_backup.tar -p 37300 testdb -F t gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:24]: The total objects number is 1369. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:53]: [100.00%] 1369 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:53]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:53]: total time: 50086 ms 示例3:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup.dmp文件格式为自定义归档格式。 gs_dump -U omm -f backup/MPPDB_backup.dmp -p 37300 testdb -F c gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:05:40]: The total objects number is 1369. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:06:03]: [100.00%] 1369 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:06:03]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:06:03]: total time: 36620 ms 示例4:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup文件格式为目录格式。 gs_dump -U omm -f backup/MPPDB_backup -p 37300 testdb -F d gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:04]: The total objects number is 1369. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:23]: [100.00%] 1369 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:23]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:23]: total time: 33977 ms
共100000条