检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询系统任务详情 功能介绍 本接口用于查询异步任务详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/system-tasks/{task_id} 参数说明 表1 URI参数说明 参数名 是否必选
数据保护技术 收集范围 为了确保您的个人数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DataArts Studio对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 用户名:用于审批,消息通知,作为用户资产的属性存在,获取委托token的key值以及国际化。
敏感数据定义 敏感数据主要指未经个人或集团授权被他人使用,有可能给个人或集团带来严重损害的数据。 以《GBT 35273-2020 信息安全技术个人信息安全规范》为例,个人敏感数据有: 个人财产信息 (存款、信贷、消费流水) 个人健康生理信息(体检信息、医疗记录) 个人生物识别信息(指纹、面部特征)
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
批量修改主题/目录/流程 批量修改主题 当前仅支持信息架构、关系建模、逻辑模型、维度、事实表、汇总表、技术指标模块进行批量修改主题操作,操作流程相同。 此处以批量修改信息架构为例,展示如下: 在DataArts Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 进入后
、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为DLISQL、Spar
下载关系建模导入模板后,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单
Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts Studio提供了系统角色+工作空间角色授权的能力,由工作空间角色授权具体的操作权限,并支持自定义不同权限点的工作空间角色。 如图1和表1所示,DataArts Studio的IAM系统角色包括DAYU
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
在注册页面,根据页面提示完成账号注册。 为了能够给您提供更好的云服务使用体验,建议您优先完成实名认证。实名认证分为个人账号和企业账号认证,不同账号类型认证的方法请参考以下链接。若您的账号已通过实名认证,可以略过此部分内容。 个人账号如何完成实名认证 企业账号如何完成实名认证 实名认证信息提交后,请耐心等待审核结果,最长3个工作日内完成审核。
版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,仅用于个人调试开发。在开发态下,可以随意编辑、保存、运行脚本
版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,仅用于个人调试开发。在开发态下,可以随意编辑、保存、运行脚本
在注册页面,根据页面提示完成账号注册。 为了能够给您提供更好的云服务使用体验,建议您优先完成实名认证。实名认证分为个人账号和企业账号认证,不同账号类型认证的方法请参考以下链接。若您的账号已通过实名认证,可以略过此部分内容。 个人账号如何完成实名认证 企业账号如何完成实名认证 实名认证信息提交后,请耐心等待审核结果,最长3个工作日内完成审核。
称之为数据的血缘关系。与人类社会中的血缘关系不同,数据的血缘关系还包含了一些特有的特征: 归属性:一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。 多源性:同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个。 可
Studio管理控制台进行操作,相关接口也无法调用。如果在保留期结束时您没有续费,DataArts Studio将终止服务,系统中的数据也将被永久删除。 系统会根据用户等级赋予不同的宽限期和保留期,详见宽限期保留期。 DataArts Studio增量包 “包年包月”计费的DataArts
华为数据治理效果 以财经为例,在数据治理前存在很多问题,如由于IT系统的烟囱式建设,导致一个角色跨多个IT系统操作,效率低;数据获取难,手工处理多,单一个收入管理需要从5个系统导出数据,约11个人总共花费50小时完成分析。 通过数据治理,华为可以做到3天月度财务报告出初稿、5天月
称之为数据的血缘关系。与人类社会中的血缘关系不同,数据的血缘关系还包含了一些特有的特征: 归属性:一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。 多源性:同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个。 可
化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。
执行SQL语句失败,系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配