检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
OBS终端节点 是 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 端口 是 主机的SSH端口号。 KMS密钥
是否支持批量创建作业? 问题描述 CDM是否支持批量创建作业? 解决方案 CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 手动创建一个作业。 导出作业,将作业的JSON文件保存到本地。 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群,实现批量创建作业。
比对版本 导出规则模板 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。 选择“数据质量监控 > 规则模板”,选择要导出的自定义规则模板。 单击“导出”,弹出“导出规则模板”对话框。 单击“导出”,切换到“导出记录”页签。 在导出文件列表中,单击最新导出文件对应
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
图9 逆向结果 导出码表 Excel导出码表时,码表名称需要限制在32个字符以内。 在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。 导出码表。 导出码表 在码表列表中,选中所需导出的码表,然后单击“更多 > 导出”。 图10 码表列表 导出码表目录中的所有表
单击“关闭”。 导出 可通过导出的方式将衍生指标导出到本地。 在衍生指标列表选中待导出的指标。 在列表上方,单击“更多 > 导出”,即可将系统中的衍生指标导出到本地。 在左侧主题树中选中某个主题,可以导出该主题下的所有衍生指标; 当该空间下不超过5000条衍生指标数据时可以全部导出。 父主题:
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
动态水印策略的唯一标识,DataArts Studio实例内的名称唯一。 为便于策略管理,建议名称中标明要添加水印的对象和水印内容。 *用户组/角色 指定当前工作空间成员中的用户、用户组或角色。当指定对象在数据开发组件中查询或导出敏感数据时,系统会对敏感数据添加动态水印,保护敏感数据不被泄露。 *数据源类型 从下拉列表中选择MRS
一站式的数据运营治理平台 从数据采集->数据架构->质量监控->数据清洗->数据建模->数据联接->数据整合->数据消费->智能分析,一站式数据智能运营平台,帮助企业快速构建数据运营能力。 优势 多种云服务作业编排 全链路数据治理管控 丰富数据引擎支持 支持对接所有华为云的数据湖与数据库云
理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。 父主题: DataArts Studio配置数据搬迁实践
您谨慎操作! 删除集群前,请您确认如下注意事项: 待删除集群确认已不再使用。 待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。
如何使用Java调用CDM的Rest API创建数据迁移作业? CDM提供了Rest API,可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数
Studio支持哪些数据源作为数据湖底座? 如何查看套餐包的剩余时长? 更多 技术专题 技术、观点、课程专题呈现 数据迁移实战 同构/异构数据源之间批量数据迁移实战 华为云大数据技术解密 华为云大数据技术私享会资料下载 OBS数据存储 如何通过OBS控制台上传和下载数据。 智能客服
访问DWS,只能使用COPY模式。 COPY 单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。 图4 创建MySQL到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名
详细操作请参见查看DAG图。 全量导出 单击“全量导出”,进入到“导出全量数据”页面,单击“确认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。 导出的作业实
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
配置委托时获取委托列表失败如何处理? 可能原因 当配置工作空间级或者作业级委托,查看委托列表时,报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”,可能是权限不足引起的。 解决方案 则需要使
CDM”服务购买CDM集群),如何购买请参考购买批量数据迁移增量包。 [2] 作业节点调度次数/天:该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的,可以通过“作业节点调度次数/天增量包”进行扩容,如何购买请参考购买作业节点调度次数