检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“权限审批”页面,单击“审批策略”进入审批策略页签。单击“新建”,新建一条审批策略。 图1 创建审批策略 在创建策略页面中,参考表1完成审批策略创建,审批节点可通过单击进行新增。 图2 配置审批策略 表1 审批策略参数说明 配置项 说明 基本信息 *策略名称 配置审批策略名。仅支持中英文、数字和下划线,长度不超过32个字符。
Studio数据架构的数据标准自动生成质量作业的功能,MRS集群版本必须是2.0.3及以上版本,集群必须包含Hive和Spark组件,集群总节点数至少4个。本示例需要使用该功能,因此必须满足这个条件。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件:
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体
Studio,如果未安装,请至Visual Studio官方网站下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Wind
本章以Chrome浏览器为例,因此需要已安装Chrome浏览器。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体
请至Postman官方网站下载。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调
API网关服务 DataArts Studio通过API网关服务(API Gateway,简称APIG)对外开放各组件的API接口。另外,数据服务共享版需要将生成的API发布到APIG。 数据湖探索服务 DataArts Studio支持将数据湖探索服务(Data Lake Insigh
包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后
包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后
选择数据指标 单击左侧导航栏中“流程设计”,进入流程设计页面,在流程树中选中一个流程,单击按钮在所选流程下新建流程。首次新建流程时,可选择在流程的根节点下新建流程。 图2 流程设计 在弹出对话框中配置如下参数,然后单击“确定”完成流程的创建。 图3 新建流程 表1 新建流程参数说明 参数名
说明: CONNECT权限的用户(只读用户)创建连接时会出现“表或视图不存在”的提示,需要执行如下操作进行授权: 以root用户登录oracle节点。 执行如下命令,切换到oracle用户。 su oracle 执行如下命令,登录数据库。 sqlplus /nolog 执行如下命令,登录sys用户
校验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录
校验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 apig_instance_id 是 String 网关实例编号,共享版为固定值:APIG。 表2 Query参数 参数 是否必选 参数类型 描述 apig_type 是 String 网关类型。 枚举值: APIG:APIG类型网关
DWS_VIEW:不支持设置压缩等级。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每
当数据连接类型是DLI时,才需要配置配置该参数。 *数据表 选择数据表。 最多可选5个数据表。如果要取消,选中下图中已关联的数据表,请先删除对应节点。 表达式配置 *设定表达式 根据实际情况选择所需要的函数和字段,并设定表达式。函数列表及函数说明请参考函数说明。 描述 描述信息。支持的长度为0~600个字符。
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体