检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图5 空间信息 在“空间信息”中,单击“数据服务专享版API配额”中对应配额的“设置”按钮,对已分配配额进行配置。配置完成后单击“保存”,保存当前配置。
需求全功能数据治理能力,适用于有完善的数据管理团队和体系,要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。
自定义角色:用户可以对需要的操作权限进行自定义设置,来满足实际业务的需要。 访客:具备DataArts Studio只读权限,只允许对DataArts Studio进行数据读取,无法操作、更改工作项及配置,建议将只查看空间内容、不进行操作的用户设置为访客。 表1 企业模式内的权限 - 简单空间
数据集成、计算&分析、数据库操作、资源管理等类型的节点,您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式,EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接:按顺序逐个执行节点,当A节点执行完成后,再执行B节点。 并行连接:A节点和B节点同时执行。
放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 整表迁移 源端和目的端都为HBase时显示该参数。 整表迁移通过二进制传输数据,表的所有信息都会传递。HBase->HBase整表迁移会传递列的timestamp
获取工作空间列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/workspaces/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。 图5 启动调度 在左侧导航树中,单击“任务监控”,查看采集任务是否成功。 图6 查看监控任务 当采集任务成功后,在左侧导航栏单击“数据目录”,选择“技术资产”页签,然后设置筛选条件
以Rest Client算子为例。 问题现象 在配置作业算子参数时,在添加请求头中时,需要输入参数及参数值,如果该参数的参数值长度超过512个字符时,则不能继续输入,如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称,例如{para}。
则“认证类型”选择“SIMPLE”。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。 创建MRS HDFS连接: 在作业管理界面,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,选择“MRS HDFS”。 单击“下一步”,配置连接参数,依次填写相
功能介绍 创建业务指标。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/biz-metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
功能介绍 更新业务指标。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/biz-metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致
数据质量运维管理操作处理&记录 功能介绍 该接口用于数据质量监控实例的问题处理,在控制台上可通过“更多>处理&记录”进入问题处理界面。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/quality/instances/{instance_id}
图中的内网既可以是企业自己的数据中心,也可以是在第三方云的虚拟数据中心私网。 图1 网络拓扑样例 操作步骤 找一台Windows机器作为网关机,该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求: 在该机器上ping内网MySQL地址可以ping通,例如:ping 192.168.1.8。 在另外一台
节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 如果设置为保持不变,则各节点保持原来的节点轮询时间。 节点执行的最长时间 设置所选作业的所有节点执行超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 如果设置为保持不
结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面
Boolean 是否默认首行为标题行,当文件格式为“CSV_FILE”时此参数有效。在迁移CSV文件到表时,CDM默认是全部写入,当该参数选择“true”时,CDM会将CSV文件的第一行数据作为标题行,不写入目的端的表。 fromJobConfig.fromCompression 否 枚举
导入方式不能为空。 请设置导入方式后再重试。 Cdm.1113 导入前是否清空数据未设置。 请设置“导入前是否清空数据”参数后再重试。 Cdm.1114 Rowkey为空,请在字段映射步骤重新设置。 请按照错误提示进行处理。 Cdm.1115 Columns为空,请在字段映射步骤重新设置。 请按照错误提示进行处理。