检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Train算子,实现在DataArts Studio中调度ModelArts工作流。 前提条件 已在ModelArts平台中完成工作空间的创建,具体请参考创建工作空间。 已在ModelArts平台中完成工作流的创建,具体请参考创建工作流。 参数 用户可参考表1和表2配置ModelArts Train节点的参数。
数据治理方法论已经在华为云服务数据治理中心DataArts Studio上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动
面向的读者 本文面向的读者包括:企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
6物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云。更多详情请参见主机迁移服务。 主机迁移服务 SMS 是一种P2V/V2V迁移服务,可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。 什么是数据库和应用迁移(UGO)?
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts
订阅动态脱敏策略 通过动态脱敏订阅,数据安全可以实现同步第三方平台的动态脱敏策略。 第三方平台的动态脱敏策略发布到Kafka消息队列后,数据安全进行订阅和消费。消息格式满足要求时,待消息消费成功后,数据安全会生成动态脱敏策略(策略名为Kafka消息中的策略名)并同步到MRS Ranger组件中生效。
以上工作的有效开展,离不开组织管理、明确的责任人、考核体系、流程制度、数据治理政策和数据治理平台的支撑。 图2 DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块,满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数
OBS,再使用数据湖探索(Data Lake Insight,简称DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。 场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构,拥有大量的贸易统计数据库,其
提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据血缘和数据全景可视,提供数据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。 数据安全 数据安全为数据
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏? 审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed
一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 测试地址 是 测试连通性地址,返回200则视为连接认证成功。 例如:/test 测试请求方法 是 测试请求方法,GET/POST。 例如:GET 高级属性 否 高级属性配置,常用配置如下: m
权限应用接口 查询数据开发细粒度连接列表 批量更新数据开发连接细粒度认证状态 测试数据开发连接细粒度连通性 父主题: 数据安全API
在本用户账户下创建虚拟私有云和子网,作为中转VPC,详情请参见创建虚拟私有云和子网。如当前账户已有可用VPC,可以跳过本步骤。 在华为云购买并配置云专线或VPN虚拟专用网络。 为了连通其他云计算环境与华为云计算环境,可以通过开通云专线或虚拟专用网络来实现。 购买和配置云专线DC的相关操作,可以参考通过云专线
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
查询特定识别规则 删除识别规则 修改识别规则接口 批量删除识别规则接口 修改识别规则状态接口 创建组合识别规则 修改组合识别规则 组合识别规则测试 父主题: 数据安全API
NARY_FILE”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。
配置流程 测试联通性 > 启用细粒度认证 配置账号映射策略 > 测试账号映射联通性 > 启用账号映射 影响的操作 数据开发操作: 开发态细粒度认证:脚本执行和作业测试运行 调度态细粒度认证:脚本执行、作业测试运行和作业调度 数据开发操作: 开发态账号映射:脚本执行和作业测试运行 目标认证鉴权身份