检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
strings 节点操作状态列表: REBOOTING:重启中。 RESTORING:恢复中。 REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
关系模型属性(逻辑模型/物理模型) TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 status String 实体的发布状态,只读,创建和更新时无需填写。 枚举值: DRAFT: 草稿 PUBLISH_DEVELOPING:
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id String 业务ID,ID字符串。 biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
EveryHour:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”。 EveryDay:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”。 EveryWeek:每周周一的零点零分创建新
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务(如DWS、MRS及ECS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id String 业务ID,ID字符串。 biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。
见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制
枚举值: HASH: 对指定的列进行Hash,通过映射,把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点(DN)中,即每个数据节点都有完整的表数据 distribute_column 否 String DISTRIBUTE BY HASH column. compression
作业中目的连接为HDFS连接时,目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
> 现有集群”,单击集群名称进入集群详情页面,单击“组件管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。
通过CDM节点批量创建分表迁移作业 适用场景 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。 在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据迁移作业。您可以参考本教程,通过数据开发模块的For Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。