检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
查询系统任务详情 功能介绍 本接口用于查询异步任务详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/system-tasks/{task_id} 参数说明 表1 URI参数说明 参数名 是否必选
执行SQL语句失败,系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
色所需权限。 创建/编辑角色时,如果您当前账号已具备DAYU Administrator或Tenant Administrator权限,但系统仍然返回报错“您无权限进行该操作”,这可能是由于网络限制导致的,建议您切换到其他网络后重试。 图1 创建自定义角色 自定义角色的角色名称、
如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU
AYU User系统角色+工作空间开发者角色”权限,则会出现如下非必需权限过大的风险: 依赖服务权限过大:服务作为平台型服务,DAYU User系统角色预置了依赖服务(如MRS、DWS等相关服务)的管理员权限。当为数据运营工程师IAM账号授予DAYU User系统角色后,会导致其拥有依赖服务的管理员权限。
用户已添加权限,还是无法查看工作空间? 可能原因 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts
User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下: 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU
Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts Studio提供了系统角色+工作空间角色授权的能力,由工作空间角色授权具体的操作权限,并支持自定义不同权限点的工作空间角色。 如图1和表1所示,DataArts Studio的IAM系统角色包括DAYU
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。
ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts Studio支持对接入数据进行结构分析,重新建模,最终打破数据孤岛,帮助企业建立统一数据模型。 在实际使用中,经常需要DataArts Studio和ROMA的密切配合使用,支撑用户的数字化转型。 父主题: 咨询与计费
方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配
实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。 密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。
方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配
质量页面。 创建规则模板。 单击左侧导航“规则模板”,默认展示系统自定义的规则。数据质量的规则包含6个维度,分别是:完整性、唯一性、及时性、有效性、准确性、一致性。 可选:单击“新建”,可自定义创建规则。 本例使用系统自定义的规则即可。 创建质量作业。 单击左侧导航“质量作业”。
化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。
华为数据治理效果 以财经为例,在数据治理前存在很多问题,如由于IT系统的烟囱式建设,导致一个角色跨多个IT系统操作,效率低;数据获取难,手工处理多,单一个收入管理需要从5个系统导出数据,约11个人总共花费50小时完成分析。 通过数据治理,华为可以做到3天月度财务报告出初稿、5天月
同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。 系统支持将自定义的规则模板批量导入,一次最大可导入4MB数据的文件。 系统支持批量导出质量作业,一次最多可导出200个质量作业。导出作业时,导出的单元格内容最大长度支持65534个字符。 系统支持批量导
通过“导出”功能,可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”,将数据填写好再导入至系统中。 配置目录的映射资源信息,选择导入后的规则模板存储目录。如不选择,默认使用原映射资源信息。 图11 配置映射资源信息 单击“导入”,将填好的Excel表格模板导入到系统。 单击“导入记录”页签,可查看对应的导入记录。