检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
SCHEMA_EXAMPLE 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
Hive中的点表和边表,并填写元数据输出的OBS路径,单击生成元数据,系统会自动生成xml格式的元数据文件并回填到OBS路径。 其中MRS Hive中的点表和边表,即为按GES图数据格式要求标准化后的边数据集和点数据集,需要与“边数据集”和“点数据集”参数所选的OBS桶中边数据集和点数据集保持一致。
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填
schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
dbs:username:password,其中username:password可以不填,此时以“用户名”、“密码”配置为准。 如果此处有多个后端数据库,需要确保表结构一致,并使用“|”分隔数据源。如果密码包含“|”或者“:”,可使用“\”转义。 例如“192.168.3.0:3306:cdm|192
SQL节点不支持Hive的事务表。 参数 用户可参考表1,表2和表3配置MRS Hive SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时,节点名称只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符,不能包含中文字符。
schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
只能包含中文、英文字母、数字和下划线。 前缀校验 只能包含英文字母、数字和下划线,且英文字母开头。 说明: 模型校验前缀:针对关系建模里面的物理表(关系表)、维度建模里面的事实表、数据集市的汇总表的新建、修改、导入表时,会校验是否有前缀,没有的话会校验失败。进行逆向操作时,也会校验是否有前缀。 描述
可靠性:通过异常恢复,自动重试等机制确保数据的一致性和准确性。 多样性: 数据源多样性:源端和目的端有多种数据源可供选择,为用户提供了多种选择。 场景多样性:部分链路支持全量和增量同步,部分链路支持分库分表。 可维护性:支持作业监控和日志查看,方便运维人员进一步定位。 易用性:长界面
户提供了以统计粒度为主题的所有统计数据。 在DataArts Studio数据架构中,维度建模是以维度建模理论为基础,抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,通过数据集市构建出汇总模型。 数据架构总览 在DataArts Studio控
数据质量:数据质量组件中的质量作业和对账作业功能,不支持对接MRS集群存算分离的场景。 数据源简介 表2 数据源简介 数据源类型 简介 数据仓库服务(DWS) 华为云DWS是基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,兼容标准ANSI SQL 99和SQL 2003,
描述,长度不能超过255个字符。 targetStatus 否 String 在开启审批开关后,需要填写该字段。表示创建脚本的目标状态,有三种状态:SAVED、SUBMITTED和PRODUCTION,分别表示脚本创建后是保存态,提交态,生产态。 保存态表示脚本仅保存,无法调度运行,需要提交并审核通过后才能运行。
schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
任务的运行受到资源和上游任务运行情况的影响,可以将任务添加至基线上,系统将计算出该任务的预计完成时间,便于用户查看任务的预计完成时间。 保障任务在承诺时间前运行完成 可以将任务添加至基线上,并设置基线承诺时间,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出错或变慢的情况
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。
您可以查看和修改节点的调度信息。详情请参见实时作业监控:事件驱动调度节点调度配置。 11 清除通道消息 单击作业名称,进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“清除通道消息”,您可以清除通道消息。 12 查看日志 对于Flink SQL和Flink J
开启报警开关,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出错或变慢的情况,将发送报警信息,用户将收到基线任务的报警信息。 :关闭报警开关,用户无法收到基线任务的报警信息。 最大通知次数 支持配置“最大通知次数”和“最小通知间隔(分钟)”,基线任务以及其依赖链上游的所有任务运
您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果,包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是依据数据架构主题关联匹