检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时集成资源组关联工作空间 进行实时数据集成任务配置前,您需要将数据集成资源组与将要使用的DataArts Studio工作空间进行关联,以确保在配置实时集成作业时可以选到指定的计算资源组。 前提条件 已购买资源组,详情请参见购买数据集成资源组。 操作步骤 参考访问DataArts
选择所需导入的文件。所需导入的文件,可以通过以下方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载业务指标导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。 打开下载的模板,请根据业务需求填写好模板中的相关参数并保存,模板中的“填写说明”Sheet页供参考。 模板中
耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。 例如,第一次查询时添加入参use
设置是否判断返回消息的值和预期的一致。当“HTTP方法”为“GET”时,显示该配置项。 YES:检查返回消息中的值是否和预期的一致。 NO:不检查,请求返回200响应码(表示节点执行成功)。 返回值字段路径 是 填写Json响应消息中某个属性的路径(下称:Json属性路径),每个Rest
项目名称可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取: 在DataArts Studio控制台首页,选择对应工作空间,并单击任一模块,如“管理中心”。
配置相关参数,新建规则。 表2 配置业务规则参数 参数名 说明 规则名称 业务规则的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述 为更好的识别业务规则,此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务规则的存储目录,可选择已创建的目录。目录创建请参见图1。
贵阳一区域部署上线。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块
企业模式业务流程 当前DataArts Studio企业模式,主要涉及管理中心和数据开发组件,业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员:管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者:
新建场景。 表2 配置业务场景参数 参数名 说明 基本配置 业务场景名称 业务场景的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述 为更好的识别业务场景 ,此处加以描述信息。描述信息长度不能超过256个字符。 所属目录 业务场景的存储目录,可选择已创建的目录。目录创建请参见图1。
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。
开发者操作 开发者作为任务开发与处理的人员,需要开发脚本、开发作业等,相关操作如下表所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发脚本,发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发
运维者操作 运维者作为运维管理的负责人,需要对生产环境的作业、实例、通知、备份等进行统一管控,相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录。
如果字符串中包含指定的字符串,则返回布尔值true,否则返回false。例如“abc”中包含“a”,则返回true。 表达式:StringUtils.contains(value,"a") 如果字符串中包含指定字符串的任一字符,则返回布尔值true,否则返回false。例如“zzaby
如果字符串中包含指定的字符串,则返回布尔值true,否则返回false。例如“abc”中包含“a”,则返回true。 表达式:StringUtils.contains(value,"a") 如果字符串中包含指定字符串的任一字符,则返回布尔值true,否则返回false。例如“zzaby
新建复合指标参数说明 参数名称 说明 *复合指标名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *复合指标英文名称 只能包含英文字母、数字和下划线,且必须以英文字母开头。 *所属主题 显示所属的主题信息。您也可以单击“选择主题”进行选择。 *统计维度 选择来源于衍生指标的统计维度。 *数据类型
级数据治理的重要范畴,其目标在于保证在企业范围内重要业务实体数据的一致(定义和实际物理数据的一致)。主数据管理首先进行企业主数据的识别,然后对已识别主数据按照主数据规范要求进行数据治理和IT改造,以支撑企业业务流和工具链的打通和串联。 管理中心 数据治理的开展离不开组织、流程和政
脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 值得注意的是,动态脱敏策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 新建MRS Hive脱敏策略前,已完成如下操作:
管理作业标签 作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
关联质量规则Sheet页参数说明 参数名 参数说明 *表名称 表英文名称,只能包含英文字母、数字、下划线、$、{、},且不能以数字开头。 *属性名称(ENG) 表中的属性字段的英文名称。只能包含英文字母、数字和下划线,且以英文字母开头。 规则名称 填写已有的规则名称。在DataArts Stud
删除识别规则。 1800 20 修改识别规则接口 修改识别规则接口。 1800 20 批量删除识别规则接口 批量删除识别规则接口。 1800 20 修改识别规则状态接口 修改识别规则状态接口。 1800 20 创建组合识别规则 创建组合识别规则。 1800 20 修改组合识别规则