检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内的API配额未达此配额,则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中,单击
这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。
jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建DWS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图3所示。
Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 应用管理”,进入到应用管理页面。单击“新建”,弹出“新建应用”对话框。填写如表1所示信息。 表1 应用信息 信息项 描述 应用名称 应用名称,IAM应用类型固定为华为账号,且不支持修改。
下步骤添加该用户。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 单击空间成员下的“添加
2 角色(空间管理员) workspace_id String 空间id table_approver_type String 安全管理员:SECURITY_MANAGER,空间权限集管理员WORKSPACE_PERMISSION_SET_MANAGER,权限集管理员PERMISSION_SET_MANAGER
找到所需要的工作空间,单击工作空间的“数据集成”,系统跳转至数据集成页面。 单击CDM集群“操作”列的“作业管理”,进入作业管理界面。 单击“连接管理->驱动管理”,参考管理驱动,上传MySQL数据库驱动。 选择“连接管理 > 新建连接”,新建MySQL连接。连接器类型选择“MySQL”,然后单击“下一步
Admin:临时UDF管理权限 Yarn Yarn队列权限: submit-app:提交队列任务权限 admin-queue:管理队列任务权限 HBase HBase列、列族的权限: Read:读权限 Write:写权限 Create:创建权限 Admin:管理员权限 Kafka Kafka的Topic权限:
String DLI队列名称 通过DLI管理控制台获取队列名称: 登录管理控制台。 单击“数据湖探索服务”,单击“队列管理”。 在队列管理列表中可以获取到队列名称。 jobName 是 String DLI作业名称 通过DLI管理控制台获取作业名称: 登录管理控制台。 单击“数据湖探索服务”,单击Spark作业。
s Studio权限。 当前IAM用户需要配置DataArts Studio工作空间的角色成员,且该空间角色成员需要拥有数据开发、管理中心服务的类管理员或开发者权限,用于查看、创建与操作数据连接、数据集成任务,角色的权限说明请参见权限列表。 配置DLI云服务跨源场景委托权限。 实
件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“
角色(空间管理员) workspace_id 否 String 空间id table_approver_type 否 String 安全管理员:SECURITY_MANAGER,空间权限集管理员WORKSPACE_PERMISSION_SET_MANAGER,权限集管理员PERMISSION_SET_MANAGER
略中的用户权限并集。对于非授权对象的普通用户(即非DAYU Administrator、Tenant Administrator或数据安全管理员)而言,数据开发中SQL脚本执行结果的转储以及在下载中心下载操作将会受限,如果试图操作则系统报错。 值得注意的是,下载权限策略为DataArts
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 配置工作空间的节点并发数
操作者只能看到自己操作的下载记录,工作空间的管理员可以看到当前空间的所有下载记录。 通过下载中心,对SQL脚本执行的结果进行统一管理。对下载的结果可以进行查看和删除,对转储的结果可以进行查看、下载和删除。 图1 下载中心 配置默认的OBS路径地址 工作空间的管理员可以配置当前工作空间的默认OBS转储路径。
件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“
HIGH_RISK 高风险 NOT_SCANNED 未扫描 workspace_admin String 空间管理员用户列表。 security_administrator String 安全管理员用户列表。 表5 UnreasonablePermission 参数 参数类型 描述 result
参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD
创建CDM迁移作业 登录控制台,选择实例,单击“进入控制台”,单击相应工作空间后的“数据集成”。 在集群管理页面,单击集群操作列“作业管理”,进入“作业管理”页面,如图1所示。 图1 集群管理 在“连接管理”页签中,单击“新建连接”,分别创建Oracle数据连接和MRS Hive数据连接,详情请
u端,增强权限管理一致性和易用性,无需重复配置。 值得注意的是,hetu权限同步策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 MRS Hetu已开启Ranger权限管控,详情请参考HetuEngine权限管理概述。 配置he