检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成配置 数据库名称 是 要连接的数据库。 单次请求行数 否 指定单次请求获取的行数。默认1000。 连接属性 否 可选参数。单击“添加”可增加多个指定数据源的JDBC连接器的属性(属性名称和值),参考对应数据库的JDBC连接器说明文档进行配置。 引用符号 否 配置引用符号,例如"。
据时,可配置编码格式。默认utf8。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。默认1000。 单次提交行数 否 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如
拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属
说明 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示脚本审批人,参考表4。 审批开关的配置请参见审批中心。 表4 审批人属性说明 参数名 是否必选 参数类型 说明 approverName 是 String 审批人名称。 响应参数
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 新建OBS到MySQL迁移作业
约束限制 通过Import GES节点自动生成元数据时,有如下约束限制: 生成元数据时,目前仅支持选择单标签(Label)场景的点表和边表。如果点表或边表中存在多个标签,则生成的元数据会存在缺失。 生成元数据xml文件是手动单击“生成元数据”触发的,如果在该节点在后续的作业调度运行中,点
标签中可以获取到域名和端口等信息。 数据源认证及其他功能配置 访问标识(AK) 是 OBS服务访问标识(AK)。 例如:HCXUET8G37MWF。 密钥(SK) 否 OBS服务访问标识对应的密钥(SK)。 父主题: 配置DataArts Studio数据连接参数
录页面。 选择“数据权限 > 数据目录权限”,单击“新建”,配置数据目录权限规则。 规则名称:设置数据权限规则的名称。 类型:当前支持从标签、密级和分类的维度进行过滤筛选。 范围:选择实际的标签、密级和分类。 用户:配置的数据目录权限规则所适配的用户。 生效:打开,表示该数据目录权限规则生效。反之,不生效。
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性
DataArts Studio和沃土是什么关系? DataArts Studio和ROMA有什么差异? DataArts Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略? 如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? 用户已添加权限,还是无法查看工作空间?
拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数
字段转换器配置指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创
数据目录配置数据搬迁 数据目录数据搬迁依赖于管理中心的资源迁移功能,详见管理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。
在新建维度之前,如果您尚未添加主题信息,请先参考主题设计添加主题信息。 在“新建维度”页面,根据页面提示配置参数。 “基本配置”和“物化配置”,设置如下: 图1 配置参数 表1 基本配置 参数名称 说明 *所属主题 下拉框中选择相应的主题。 *维度名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
不能存在中文字符)。 说明: 此处上传的私钥文件应和主机上配置的公钥是一个密钥对,详情请参见密钥对使用场景介绍。 密钥对密码 是 如果密钥对未设置密码,则不需要填写该配置项。 密码 是 “登录方式”为“密码”时,显示该配置项。 主机的登录方式为密码时,填写主机的登录密码。 主机连接描述
数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。
字段转换器配置指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。
数据安全配置数据搬迁 当前暂不支持数据安全数据的导入导出,需要您手动同步各项配置数据和任务。 数据安全的配置数据,需要您按照旧空间的相关配置,手动在新空间进行重新配置。 父主题: DataArts Studio配置数据搬迁实践