检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
fd Integer 字段。 fd_published Integer 已发布的字段。 st Double 标准覆盖率。 st_published Double 已发布的标准覆盖率。 model WorkspaceVO object 模型信息。 表7 WorkspaceVO 参数 参数类型
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
置。 当源端某字段未与目标端字段进行映射时,源端该字段数据将不会同步到目标端。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 如果字段映射关系不正确,用户可以通过拖拽字段来调整映射关系(
aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts St
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。
若产生的脏数据在阈值范围内,同步任务将忽略脏数据(即不会写入目标端),并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。 说明: 脏数据认定标准:脏数据是对业务没有意义,格式非法或者同步过程中出现问题的数据;单条数据写入目标数据源过程中发生了异常,则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。
数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版
务里仅开启生成compaction计划,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 刷新源表和目标表映射,检查映射关系是否正确,同时可根据需求修改表属性、添加附加字段,并通过“自动建表”能力在目的端Hudi数据库中建出相应的表。 图8 源表与目标表映射
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
单击生成元数据,系统会自动生成xml格式的元数据文件并回填到OBS路径。 其中MRS Hive中的点表和边表,即为按GES图数据格式要求标准化后的边数据集和点数据集,需要与“边数据集”和“点数据集”参数所选的OBS桶中边数据集和点数据集保持一致。 点数据集和边数据集应符合GES
FACT_LOGIC_TABLE: 事实表 TABLE_MODEL: 关系建模:逻辑实体/物理表 STANDARD_ELEMENT: 数据标准 AGGREGATION_LOGIC_TABLE: 汇总表 CODE_TABLE: 码表 BIZ_METRIC: 业务指标 COMPOUND_METRIC:
务里仅开启生成compaction计划,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 刷新源表和目标表映射,检查映射关系是否正确,同时可根据需求修改表属性、添加附加字段,并通过“自动建表”能力在目的端Hudi数据库中建出相应的表。 图11 源表与目标表映射
将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否 设置输出数据路径,