检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点Endpoint 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}.myhuaweicloud
对数据资产,可以从业务角度定义分类或标签。 数据服务:提升访问查询检索效率 DataArts Studio数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务,支撑业务主题/画像/指标的访问、查询和检索,提升数据消费体验和效率,最终实现数据资产的变现。数据服务为您提供快速将数据表生
Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts Studio实例。 需要与其他云服务互通时,需要确保与其他云服务的企业项目一致。 作业日志OBS路径
MapReduce服务(MRS Hive) MapReduce服务(MRS Hive) 使用源端MRS Hive所在的MRS集群 MapReduce服务(MRS Hive)所在的MRS集群必须开启Kerberos认证,且必须安装Spark组件。 数据仓库服务(DWS) 使用MRS
在DataArts Studio数据目录模块中,您可以查看数据地图。 数据地图 查看业务资产和技术资产 步骤9:服务退订 进行服务退订,避免持续产生费用。 服务退订 服务退订(可选) 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
Hive配置的白名单,需要配置以下配置项参数,单击保存,滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面,在基础配置里面配置该参数。具体操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“Hive
Studio的会话超时时间是多少,是否支持修改? 会话超时时间指的是如果用户超过该时长未操作界面,会话将会失效,需要重新登录。 会话超时策略可以在IAM服务进行设置,如图所示。 会话超时策略默认开启,不能关闭,管理员可以设置会话超时的时长,会话超时时长默认为1个小时,可以在15分钟~24小时之
Studio服务CDM组件使用: 检查用户是否添加DAYU Administrator或DAYU User角色,参考DataArts Studio权限管理。 是否有对应工作空间的权限,如开发者、访客等,参考DataArts Studio权限列表。 如果是独立CDM服务使用: 检查是否开启IAM细粒度鉴权。
ject id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件: DAYU Administrator或Tenant
配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。
Single:表示单机部署。 Cluster:表示集群部署。 Proxy:表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码
or Spark driver's logs for further information”。 可能原因 由于MRS服务的AM资源不足导致。 解决方案 登录MRS服务的管理面。 进入FusionInsight Manager后,选择“租户资源”页签。 单击左侧“动态资源计划”进入动态资源计划页面。
选择重名策略。当“转储服务类型”配置的转储任务名称出现重名时,DIS Dump将根据重名策略进行下一步操作。 忽略:不添加转储任务,并退出DIS Dump,DIS Dump的状态为“成功”。 覆盖:继续添加转储任务,覆盖已存在的重名转储任务。 转储服务类型 是 选择转储服务类型,目前支持转储至:
、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 用户名 访问CloudTable服务的用户名。 admin 访问标识(AK) 访问CloudTable服务的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。
Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts Studio实例。 需要与其他云服务互通时,需要确保与其他云服务的企业项目一致。 作业日志OBS路径
求我们着力解决数据安全领域的突出问题,有效提升数据安全治理能力。随着数据安全监管要求逐渐落地,组织数据安全治理动力明显攀升,数据安全技术及服务供给不断释放。整体来看,数据安全治理进入快速发展阶段。 DataArts Studio数据安全为您提供提供开箱即用的数据安全治理能力,助力企业建立与制度流程相配套的技术平台。
Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓库服务创建DWS集群,确保与DataArts Studio实例网络互通,并且具有KMS密钥的查看权限。 已在MapReduce服务创建MRS集群,确保与DataArts Studio实例网络互通。 已创建C
into loader线程数 每个loader内部启动的线程数,可以提升写入并发数。 1 在DWS端自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将O
限,导致在查看节点日志时系统提示报错,或者OBS日志文件不存在时系统提示报错。 解决方法 使用管理员用户登录IAM控制台。 在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“用户
介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务,并创建DWS集群,为DWS SQL提供运行环境。 已开通CDM增量包,并创建CDM集群。 CDM集群创建时,需要注意:虚拟私有云、子网、