检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用,具体价格请参考该服务的计费详情页。商用计费
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资源主体:即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS Hive/Spark,云数据仓库DWS,数据湖探索DLI等数据湖,计算引擎队列包含大数据MRS
Studio实例控制台 前提条件 请参见购买DataArts Studio实例,确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts
Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
Gbit/s 64 - 其他场景中,可根据情况选择多个CDM集群同时迁移,加快迁移效率。MRS HDFS多副本策略会占用网络带宽,影响迁移速率。 华为云CDM创建连接 创建2个CDM集群: DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,
因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员可以全身心聚焦业务创新,盘活100T的存量数据,使资产最大化变现。
功能总览 功能总览 全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略(查询指定条件下的委托列表),再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格中,单击“角色授权”>“创建自定义策略”。
Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? 可能原因 Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因,可能是由于连接方式导致的。 解决方案 请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS
数据质量:数据质量组件中的质量作业和对账作业功能,不支持对接MRS集群存算分离的场景。 数据源简介 表2 数据源简介 数据源类型 简介 数据仓库服务(DWS) 华为云DWS是基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,兼容标准ANSI SQL 99和SQL 2003,同时
用户登录并验证权限:使用新创建的用户登录控制台,验证权限配置是否符合预期。 图2 最小化授权操作流程 创建用户组并授予系统角色 User 使用华为账号登录统一身份认证服务IAM控制台。 在IAM服务控制台中,单击“用户组”,在用户组页面单击右上方的“创建用户组”。 图3 创建用户组
submit-app:提交队列任务权限 admin-queue:管理队列任务权限 委托用户 如果需要让待授权用户/用户组管理本条策略,可开启此选项,使这些用户成为当前策略管理员,当前策略管理员可以更新、删除本策略。 图5 MRS Yarn队列详情 DLI队列 在DLI队列详情页面,单击“授权”,在弹
基线运维约束限制 使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求: MRS约束限制: 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果
审计数据访问日志 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录,包括时间、用户、操作对象、操作类型等信息。通过这些日志,可以快速进行数据操作审计,更好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计,需要满足如下条件: MRS Hi
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? 出现该问题的可能原因有: 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群,由于规格限制,仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“”,进入DataArts Studio控制台。 购买DataArts Studio基础包
Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“数据治理中心”,进入DataArts Studio控制台。 购买DataArts Studio基础包