检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。
运维调度 运维概览 作业监控 实例监控 补数据监控 基线运维 通知管理 备份管理 操作历史 父主题: 数据开发
jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建DWS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图3所示。
String DLI队列名称 通过DLI管理控制台获取队列名称: 登录管理控制台。 单击“数据湖探索服务”,单击“队列管理”。 在队列管理列表中可以获取到队列名称。 jobName 是 String DLI作业名称 通过DLI管理控制台获取作业名称: 登录管理控制台。 单击“数据湖探索服务”,单击Spark作业。
String DLI队列名称 通过DLI管理控制台获取队列名称: 登录管理控制台。 单击“数据湖探索服务”,单击“队列管理”。 在队列管理列表中可以获取到队列名称。 jobName 是 String DLI作业名称 通过DLI管理控制台获取作业名称: 登录管理控制台。 单击“数据湖探索服务”,单击Spark作业。
Studio服务进入数据集成界面可以看到。 在左侧导航栏中单击“集群管理”进入“集群管理”页面。然后,在集群列表中找到所需要的集群,单击“作业管理”。 图2 集群管理 进入作业管理后,选择“连接管理”。 图3 连接管理 创建集成任务所需的OBS连接、云数据库MySQL连接和MRS Hive连接。
接,就可以查询到对应的后端连接详情。 在管理连接前,您需要确保该连接未被任何作业使用,避免影响现有作业运行。管理连接的操作流程如下: 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理”。 在连接管理界面找到需要修改的连接: 删除连接:单击
虚拟私有云:CDM集群的VPC,选择用户本地数据中心与云专线连通的VPC。 子网、安全组:这里没有要求,分别任选一个即可。 集群创建完成后,选择集群后面的“作业管理 > 连接管理 > 新建连接”,进入选择连接类型的界面,如图1所示。 图1 选择连接器类型 连接H公司本地的Apache Hadoop HDFS文件系统时,连接类型选择“Apache
间时,此处需配置为企业模式。 企业项目 DataArts Studio实例默认工作空间关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DW
String DLI队列名称 通过DLI管理控制台获取队列名称: 登录管理控制台。 单击“数据湖探索服务”,单击“队列管理”。 在队列管理列表中可以获取到队列名称。 jobName 是 String DLI作业名称 通过DLI管理控制台获取作业名称: 登录管理控制台。 单击“数据湖探索服务”,单击Spark作业。
jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建RDS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。
Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 应用管理”,进入到应用管理页面。单击“新建”,弹出“新建应用”对话框。填写如表1所示信息。 表1 应用信息 信息项 描述 应用名称 应用名称,IAM应用类型固定为华为账号,且不支持修改。
满足GDPR关于在海量数据中找到和保护敏感数据的要求,可对敏感数据的使用进行审计。 数据安全合规检查 通过对敏感数据的分析,制定数据安全合规管理制度,帮助企业建设以及改善信息安全合规管理体系。 敏感数据识别流程 在执行识别敏感数据任务之前,您可通过图1了解敏感数据识别流程。 图1 敏感数据识别流程图 定义数据密级
内的API配额未达此配额,则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中,单击
jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建Hive连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图5所示。
专线连通的VPC的一致。 其它参数可以自定义,或者保持默认。 创建CDH HDFS连接: 单击CDM集群操作列的“作业管理”,进入作业管理界面。 选择“连接管理 > 新建连接”,进入连接器类型的选择界面,选择“Apache HDFS”。 图1 选择连接器类型 单击“下一步”,配置
下步骤添加该用户。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 单击空间成员下的“添加
找到所需要的工作空间,单击工作空间的“数据集成”,系统跳转至数据集成页面。 单击CDM集群“操作”列的“作业管理”,进入作业管理界面。 单击“连接管理->驱动管理”,参考管理驱动,上传MySQL数据库驱动。 选择“连接管理 > 新建连接”,新建MySQL连接。连接器类型选择“MySQL”,然后单击“下一步
Admin:临时UDF管理权限 Yarn Yarn队列权限: submit-app:提交队列任务权限 admin-queue:管理队列任务权限 HBase HBase列、列族的权限: Read:读权限 Write:写权限 Create:创建权限 Admin:管理员权限 Kafka Kafka的Topic权限:
详情请参见什么是可用区。 企业项目 default DataArts Studio实例默认工作空间关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DW