检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包,可以跳过这部分内容。 如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包章节,完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致,同时也要与云专线连通的VPC的一致。 其它参数可以自定义,或者保持默认。 创建CDH
用数据连接上的账号,而是使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。 细粒度认证开启状态对数据开发中的脚本、作业运行影响总结如下: 当关闭细粒度认证时,数据开发中的脚本执行、作业测试运行和作业调度使用数据连接上的账号进行认证鉴权。
该连接的作业时,数据连接及连接相关配置不可见。 委托 选择需要授权的IAM委托,仅限于委托对象为“数据湖治理中心 DGC”的云服务类型委托。如需新建委托,请参考参考:创建委托。 说明: 对于未选择的委托,则默认该委托权限放开,不做权限管控。 对于选择的委托,则非授权对象的普通用户(即非DAYU
步至Hetu的权限。 同步到Hetu端的Ranger的策略命名格式为“catalog名_schema名+表名+列名”。如果Hetu端的Ranger上已有相同资源、名称的策略,则会导致同步权限至Hetu端的失败,此时需要手动清理Hetu端的Ranger上资源、名称冲突的策略。 创建hetu权限同步策略
在配置角色/权限集时,如果给某一用户赋予了DWS数据源某个Schema下的全表权限(即将权限中的数据表配置为*号),则该用户具备对该Schema下的所有表的相应权限。但由于DWS自身权限特性限制,这些赋予的权限仅针对当前已有的表;而对于权限同步后再创建的新表(以下简称未来表),该用户依然没有权限,需要在角色/权限集中再次手动进行
中脚本和作业的目录、数据服务专享版中API的目录以及数据架构中的物理模型和逻辑模型进行权限控制。 当工作空间内未配置数据开发、数据服务和数据架构的目录权限策略时,所有用户默认可以查看并操作数据开发、数据服务和数据架构的目录及其中的资源项。 当工作空间内已配置数据开发的脚本或作业目
在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击数据安全左侧导航树中的“权限审批”,在“权限审批”页面,单击“建库审批”进入建库审批页签。 图1 建库审批页面 单击数据库路径配置,在弹出的数据库路径配置窗口中,单击创建数据库路径,配置数据库路径。
填写该作业的责任人。 作业优先级 选择作业的优先级,提供高、中、低三个等级。 说明: 作业优先级是作业的一个标签属性,不影响作业的实际调度执行的先后顺序。 委托配置 配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置公共委托,则新建的作业默认
在“维度”页签,选择需要导出的DWR模型,选择所需导出的维度,单击列表上方的“更多 > 导出”按钮,导出所选维度。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 图9 导出维度 在“事实表”页签,选择需要导出的DWR模型,然后选择所需导出的事实表,单击列表上方的“更多 > 导出
物理隔离要求较低,能够开箱即用,快速实现API能力开放。 中大型用户。 专享版数据服务拥有物理隔离的独立集群, 更丰富的特性。 满足内部API调用跟API开放,独立的出、入网带宽选择。 数据服务的共享版与专享版在功能上的异同点如下表所示。 表2 共享版与专享版数据服务功能差异 规格分类 规格描述 共享版
级数据的权限申请设置不同的审批流程。 值得注意的是,审批策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击数据安全左侧导航树中的“权限审批”,进入权限审批页面。
关系建模一般用于业务系统及数仓贴源层、整合层的建模。 维度建模用于数仓公共层或数据报告层的建模。 数据集市用于汇总表和应用表等数据应用表的建模。 描述 数仓分层描述信息。支持的长度0~200字符。 禁用自定义项 选择自定义项。如果没有自定义项,则表示没有可禁用的自定义项。 单击“确定”。数仓分层新建完成。
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“权限审批”,在“权限审批”页面,单击“我的权限”进入我的权限页签。 在“我的权限页面”,查看我已申请到的权限。 图2 我的权限 在待续期权限的操作栏选择“续期”,或在选择待续期权限后选择列表上方的“批量续期”,在弹
细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 MapReduce服务(MRS Hudi) Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。
对于未配置通知的作业,系统支持可以通知类型(例如运行异常/失败)进行筛选,以便批量设置告警通知。 批量配置作业 通过勾选作业名称前的复选框,支持批量执行操作。 查看作业实例状态 单击作业名称前方的,显示“最近的实例”信息,查看该作业最近的实例信息。 在最近的实例的“操作”列,可以查看作业实例的运行日志,重跑作业实例。
数据权限模块为用户提供便捷的权限管控能力,提供可视化申请审批流程,并可以进行权限的审计和管理。提高数据安全的同时,还可以方便用户进行数据权限管控。 在已上线数据安全组件的区域,数据目录中的数据权限功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使用。
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图2 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“
数据源网段 本地IDC的数据源所属私网网段,请用户根据实际情况自行获取。 192.168.0.0/24 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。 查看方式: 登录虚拟专用网络控制台,在左侧导航栏,选择“虚拟专用网络
数据安全组织架构是数据安全治理体系建设的前提条件。通过建立专门的数据安全组织,落实数据安全管理责任,确保数据安全相关工作能够持续稳定的贯彻执行。 数据安全治理组织架构一般由决策层、管理层、执行层与监督层构成,各层之间通过定期会议沟通等工作机制实现紧密合作、相互协同。决策层指导管理层工作的开展,并听取管理层关于工
每日执行节点个数超过上限,一般是由于作业调度过于频繁导致的。为您推荐两种处理方式: 一. 购买作业节点调度次数/天增量包用于增加配额,详情请参见购买作业节点调度次数/天增量包。 二. 您可通过如下方式排查哪些作业调度节点次数较高,然后适当调整调度周期或停止调度即可。 在数据开发模块控制台的左侧导航栏,选择 “运维调度