检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过“绑定内网域名”,输入自定义内网域名,数据服务调用DNS服务将内网域名与内网地址相关联。 公网域名(可选):公网域名是在Internet中使用公网解析的域名。创建集群后可通过“绑定公网域名”,输入已完成注册、备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。 图1 专享版集群网络架构说明
图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系
标准模板管理 功能配置 功能配置用于自定义数据架构中的各项功能。 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“功能配置”。 在功能配置页面,可根据用户具
单击“创建日志流”,在弹出框内,输入日志流名称。 单击“确定”,创建完成。 配置云服务访问日志转储 登录数据服务专享版页面,选择集群,选择日志转储,选择LTS云服务日志。 图2 LTS转储 查看访问日志 当您配置了访问日志,可以查看访问日志的详细信息。 通过“云日志服务”控制台,进入日志主题界面
面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。
配置Hive源端参数 作业中源连接为Hive连接时,源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名
配置管理 配置 管理资源 父主题: 数据开发
各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。 (可选)本地IDC配置VPN对端网关设备。 本地IDC网络采用不同类型的防火墙或主机,可参考《虚拟专用网络快速入门》中的配置对端设备章节实现本地IDC数据库所在网络和华为云Migration资源组VPC网段(例如172
服务资源访问控制 配置队列权限 配置空间资源权限策略 配置目录权限 配置下载权限 父主题: 统一权限治理
数据权限访问控制 配置空间权限集 配置权限集 配置角色 管理成员 配置行级访问控制 同步MRS Hive和Hetu权限 申请与审批权限 启用细粒度认证 父主题: 统一权限治理
MRS Hive数据连接中的用户账号需要同时满足如下条件: 需要配置至少具备Cluster资源管理权限的角色(可直接配置为默认的Manager_operator角色)。 需要配置hive用户组。 为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS集群的审计功能开关audit_enabled。
根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅GaussDB数据源支持多域名的方式,多个域名之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库
身份认证与访问控制 身份认证 用户访问DataArts Studio的方式有多种,包括控制台、开放API等,无论访问方式封装成何种形式,其本质都是通过DataArts Studio提供的REST风格的API接口进行请求。 DataArts Studio的接口均需要进行认证鉴权以此
发布历史数量 同一个API在每个环境中最多记录10条最新的发布历史。 √ 每个API的访问频率 不超过200次/秒。 √ 特殊应用 阈值不超过API流量限制值。 x 子域名访问次数 每个子域名每天最多可以访问1000次。 x 调用请求包的大小 API每次最大可以调用12M的请求包 x TLS协议
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“模板配置”。 配置脚本模板信息。 单击“新建”进入脚本模板配置界面。 输入“模板名称”。 在界面上输入SQL语句,并引入脚本参数。 配置脚本模板参数。参数名称不可修改,参数值可以进行修改。 图1 配置脚本模板 单击“保存”。
删除审核人 在审核人列表中,查找所要删除的审核人,然后选中该审核人,再单击“删除”按钮,即可删除指定的审核人。 指标配置 进入数据指标的“配置中心 > 指标配置”页面,可以对业务指标进行自定义项设置。 单击“新建”,输入自定义相的参数信息。包含选项名称的中英文、可选值、是否必填、描述等。
配置节点并发数 本章节主要介绍如何配置当前作业空间同一时间允许正在运行的作业节点的最大并发数。 约束限制 工作空间的节点并发数不能大于实例的节点并发数上限。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的
在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“数据仓库服务(DWS)”,并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是
请联系客服或技术支持人员。 基础与网络连通配置 手动 否 通过代理连接的时候,此项可配置,通过勾选按钮来选择集群名模式或连接串模式。 使用集群名模式时通过选择填写集群名称进行连接配置。 使用连接串模式填写对应集群的IP和端口进行连接配置。 MRS集群名 是 选择所属的MRS集群。