检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi数据源)时,由于Hudi的限制,必须存在字段主键才能数据落库成功,否则会导致表同步失败。 分区 选中时表示该字段为分区字段。 不为空 是否限制该字段不为空。 数据标准 如果您已创建数据标准,在“数据标准”列,单击按钮可以选择一个数据标准与字段相关联。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤
Hudi数据源)时,由于Hudi的限制,必须存在字段主键才能数据落库成功,否则会导致表同步失败。 分区 选中时为分区字段。 不为空 是否限制该字段不为空。 标签 单击按钮可以为表字段添加标签。 在弹出框中可以选择一个或多个已有的标签。如果尚未添加标签,您也可以前往DataArts
支持提示,一般,严重和致命四种级别,作业级别决定发出通知消息的模板样式。 超时时间 输入超时时间。输入值必须在5到1440之间。单位为分钟。该参数为空或者默认1440分钟时,超时时间系统默认为24小时,支持修改。 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后参见表2配置数据对账规则。您也可选择添加对账规则。
是否记录脏数据 是 单击选择节点是否记录脏数据。 是:记录脏数据 否:不记录脏数据 说明: 脏数据即Bad Records,由于数据类型不兼容、数据为空或者格式不兼容而导致无法加载到DLI中的记录归类为Bad Records。 选择记录脏数据后,Bad Records不会导入到目标表,而是导入到OBS脏数据路径中。
保留前2位,其余脱敏为‘*’ 自定义 字符类型 bpchar、varchar、text、inet、macaddr、uuid、char、txt 全部脱敏为空。 后四位被保留,其余脱敏为“*” 前两位被保留,其余脱敏为“*” 自定义脱敏开始和结束位置,脱敏字符 数值类型 numeric、int2、
ORACLE数据连接参数说明 表1 Oracle数据连接 参数 是否必选 说明 数据连接类型 是 ORACLE连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
MRS Hudi数据连接参数说明 表1 MRS Hudi连接 参数 是否必选 说明 数据连接类型 是 MRS Hudi连接固定选择为MapReduce服务(MRS Hudi)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
常见问题章节进行排查。 其他限制 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值,源数据库insert数据,同步到目标数据库后多的列为null,不符合目标数据库要求。 目标数据库多的列设置固定默认值,且有唯一
操作环境与数据准备 操作环境准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts
数据开发 数据开发可以创建多少个作业,作业中的节点数是否有限制? DataArts Studio支持自定义的Python脚本吗? 作业关联的CDM集群删除后,如何快速修复? 作业的计划时间和开始时间相差大,是什么原因? 相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理?
Hudi数据源)时,由于Hudi的限制,必须存在字段主键才能数据落库成功,否则会导致表同步失败。 分区 选中时为分区字段。 不为空 是否限制该字段不为空。 标签 单击按钮可以为逻辑实体属性添加标签。 在弹出框中可以选择一个或多个已有的标签。如果尚未添加标签,您也可以前往DataArts
Java 操作场景 使用Java语言调用APP认证的API时,您需要先获取SDK,然后新建工程或导入工程,最后参考调用API示例调用API。 本章节以Eclipse 4.5.2版本为例介绍。 图1 调用流程 前提条件 已获取API的域名、ID、请求url、请求方法、AppKey和
成boolean类型,默认为true。 引用符号 否 配置引用符号,例如"。 数据库包围标识符。对某些数据库意味着大小写敏感,如不需用请置空。 检查streamLoad连通性 否 测试Doris streamLoad连通性,当使用场景通过streamLoad方式写数据的时候时,需要保证该连通正常。
新建数据表 您可以通过可视化模式、DDL模式或SQL脚本方式新建数据表。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据表。 (推荐)DDL模式:您可以在DataArts Studio数据开发模块,通过选择DDL方式,使用SQL语句新建数据表。
Hive连接参数说明 目前CDM支持连接的Hive数据源有以下几种: MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS