检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS,并创建MRS集群。 数据准备 下载Flink作业资源包"wordcount.jar",下载地址:https://github
Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提供给用户,用户可以同时创建多个DataArts Studio实例,并分别管理和访问每个DataArts Studio实例。每个DataArts
在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。 图1 选择数据指标 在数据指标控制台,单击左侧导航树中的“配置中心”,进入相应页面后,选择“审核人管理”页签。 在“审核人管理”页面,单击“添加”按钮。 在弹出的添加
单击“新建连接”,进入相应页面后,选择连接器类型“对象存储服务(OBS)”,单击“下一步”,然后如下图所示配置连接参数,单击“保存”。 图4 创建OBS连接 表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link
Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。 管理员导入脚本时,选择导入提交态,会生成对应的待发布项。 管理员导入脚本时,选择导入生产态,则不会生成待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts
0.1 用户名 需要配置MRS Manager的用户名和密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
e字段为目标时区。 导出作业 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
新建数据密级 相关操作 调整密级:在数据密级页面,单击对应密级操作栏中的“更多 > 上移”或“更多 > 下移”,即可调整该密级级别。 编辑密级:在数据密级页面,单击对应密级操作栏中的“编辑”,即可修改密级描述。 删除密级:在数据密级页面,单击对应密级操作栏中的“删除”,即可删除密
弹性公网IP 专享版实例的API如果要允许外部调用,则需要购买一个弹性公网IP,并在购买时绑定给实例,作为实例的公网入口。 安全组 安全组类似防火墙,控制谁能访问实例的指定端口,以及控制实例的通信数据流向指定的目的地址。安全组入方向规则建议按需开放地址与端口,这样可以最大程度保护实例的网络安全。
都会存储在审核中心页面,然后在审核中心页面进行任务发布,这些任务才会在生产环境上线。 审核人员审核对象 如果您是审核人员,请使用审核人员的账号参考以下步骤审核对象。 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在左侧导航树中
已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择开发环境,选择“数据开发
账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。
核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 管理审核人 数据服务平台提供管理审核人的功能,您可在审核中心新建和删除审核人,下面以新建审核人为例介绍如何操作。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
Manager页面的访问方式,详细内容请参考访问FusionInsight Manager(MRS 3.x及之后版本)。 进入FusionInsight Manager登录页面,登录FusionInsight Manager(登录用户名和密码找系统管理员获取)。 单击“集群”,在“概览”页签下,从右上方选择“更多
*接口认证方式 当前仅支持用户名密码认证。 *数据连接 选择RestClient类型的数据连接,连接中的用户名密码将作为第三方平台认证凭据进行 鉴权。 发送请求时,将会以{X-Client-Access-Key: RestClient数据连接用户名,X-Client-Secret-Key:
Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。 表1 DataArts Studio实例并行节点数上限 DataArts Studio实例作业节点调度次数/天配额 DataArts Studio实例并行节点数上限 <=500
自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作,才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示,具体操作请参考后续章节。
类显示在数据列区域中。 DWS *用户组/用户 指定当前工作空间成员中的用户或用户组。当指定对象在数据开发组件中查询或导出敏感数据时,系统会对敏感数据进行动态脱敏,保护敏感数据不被泄露。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts
DM等线下数据源,可以通过数据库管理员获取相应的访问地址。 端口 是 关系型数据库数据源的访问端口。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。