检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Token、用户名密码两种认证鉴权方式的RESTful请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,只需在主机连接
的组织模式。结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员,在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织: 图1 数据治理工作组织 父主题: 数据治理组织架构
审核中心 开发环境生成的指标数据处理类任务提交审核后,都会存储在审核中心页面,然后在审核中心页面进行任务审核发布,这些任务才会生效。在审核中心,可以对提交审核的对象进行统一管理。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE:
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发组件,进入“数据开发 > 作业开发”页签,单击需要手动配置血缘关系的作业名,打开作业画布。 单击作业画布中的MRS Spark节点,并切换到“血缘关系”页签。
准、可视化数据建模、标注数据标签等功能,有利于改善数据质量,有效支撑经营决策。 数据开发 大数据开发环境,降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。支持数据建模、数据集成、脚本开发、工作流编排等操作,轻松完成整个数据的处理分析流程。 数据质量 数据全生命周期管控,
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发,因此包含了Flink系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE:
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE:
获取申请列表 DLMApply getApplyList 获取申请详情 DLMApply getApplyDetail 获取通知详情 DLMApply getMessageDetail 创建申请 DLMApply createApply 批量审核申请 DLMApply batchApproveNewApply
步骤9:服务退订 本开发场景中,DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息
{region_id}.myhuaweicloud.com,具体如表1所示。 DLF数据开发V1接口:dayu-dlf.{region_id}.myhuaweicloud.com,具体如表2所示。 DLF数据开发V2接口:dayu.{region_id}.myhuaweicloud.com,具体如表2所示。
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE:
数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK使用场景 数据API是否必须通过数据服务SDK代码才能调用,与数据API的认证
资源导入可以基于OBS服务,也支持从本地导入。支持迁移的资源包含如下业务数据: 管理中心组件中创建的数据连接。 数据集成组件中创建的CDM作业,包含作业中的CDM连接。 数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业,不包含其依赖的脚本和资源。 数据架构组件中创建的主题、流程、码表、数据标准、关系建
数据入湖检测规则可用于如下场景的实时敏感信息检测: 数据集成(离线作业)进行表数据迁移时的“敏感数据检测”,详见配置离线处理集成作业。 数据开发导入数据文件时的敏感数据自动实时检测。 数据安全敏感数据发现中的文件敏感数据实时检测,详见检测文件敏感数据(高级特性)。 数据安全敏感数据
分析图数据 通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业,且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE:
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE:
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE: