检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用华为账号登录DataArts Studio管理控制台的首页,单击“角色管理”。 企业模式是否预置部署者角色以及创建自定义角色时的参数,与企业模式是否开启有关。本文以未开启企业模式为例进行说明。 图17 新建自定义角色 在角色管理页面,单击“新建”,弹出“创建自定义角色”对话框。
件可用于导入。 建立好主题设计信息后,可以对主题信息进行查找、编辑或删除操作。 主题设计 码表管理 码表,也称lookup表、数据字典表,一般由中英文名称编码组成,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表的作用主要有: 在数据清洗中用于标准化业务数据以及补充映射字段。
Administrator角色或该工作空间管理员,具备对应的添加审核人的权限。 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 单击左侧导航树中的“配置中心”,进入相应页面后,在“审核人管理”页签,单击“添加”按钮。 选择审核人(工作空间管理员、开发者、自
在左侧导航栏中进入应用管理,找到API授权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单
空间的数据(包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本、数据开发作业、数据质量作业等),搬迁到新建的工作空间中。 如何授权其他用户使用DataArts Studio 某数据运营工程师负责本公司的数据质量监控,仅需要数据质量组件的权限。管理员如果直接赋予该数
rel String 关系。 href String 链接地址。 表7 Datastore 参数 参数类型 描述 type String 类型,一般为cdm。 version String 集群版本。 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a1
建一个作业,然后单击作业后的“作业JSON定义”,复制其中的JSON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/ String json = "{\r\n"+ "\"jobs\":
对收到的通知消息进行确认,可以在指定的时间范围内选择何时进行处理。 2400 120 获取消息详情 获取消息详情。此功能仅用作信息详情展示,不用做业务处理,因此不展示编号等后台参数。 2400 120 授权管理接口 表5 授权管理接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询API已授权的APP
JOIN方式 从左到右依次表示left JOIN、right JOIN、inner JOIN、outer JOIN。 *JOIN属性 JOIN属性一般选择源逻辑实体和JOIN逻辑实体中含义相同的属性,单击或按钮增加或删除JOIN属性。JOIN属性之间是and的关系。 逻辑属性映射:为来源
包括自定义模板和自定义规则: 自定义规则模板是很多用户可能都要使用的数据,不能随意进行修改,开发者只有查询权限,如果要修改规则模板,请联系管理员进行修改。 自定义模板:在“数据质量监控 > 规则模板”处,新建规则模板。新建的规则模板系统会自动被划分为对应的规则类型(表级、字段级、
单击集群名称查看。 修改JSON 根据您的业务需要,可以修改JSON Body。这里以1天为周期,where子句作为抽取数据时的判断条件(一般使用时间字段来作为增量迁移时的判断条件),每天迁移昨天新增的数据。 修改where子句,增量某个时间段的数据: {
String 作业描述。 category_id Long 所属目录ID level String 告警级别,SUGGEST表示提示,MINOR表示一般,MAJOR表示严重,FATAL表示致命。 alarm_condition String 统一告警条件。 alarm_notify Boolean
配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表7 Input 参数 是否必选 参数类型 描述 name 是 String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类
用户流量限制(次/min) 更新表的异常数据输出配置 更新表的异常数据输出配置,包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。 10800 120 清空质量规则 清空表的质量规则。 10800 120 父主题: API概览
服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源
myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。
String 异常数据输出库。 dirty_out_prefix String 异常表前缀。 dirty_out_suffix String 异常表后缀。 tb_guid String 表发布后对应的物理表guid。 code String 编码。 create_by String 创建人。
地图组件,则标签功能不生效。 所属目录 数据对账作业的存储目录,可选择已创建的目录。目录创建请参见(可选)新建目录。 作业级别 支持提示,一般,严重和致命四种级别,作业级别决定发出通知消息的模板样式。 超时时间 输入超时时间。输入值必须在5到1440之间。单位为分钟。该参数为空或
新调整为单行)。 单击“文件 > 另存为”,在弹出的对话框中,“保存类型”选择为“所有文件(*.*)”,在“文件名”处输入文件名和.csv后缀,选择“UTF-8”编码格式(不能带BOM),则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台,选择“存储 >
String 异常数据输出库。 dirty_out_prefix String 异常表前缀。 dirty_out_suffix String 异常表后缀。 tb_guid String 表发布后对应的物理表guid。 code String 编码。 create_by String 创建人。