检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
库名相同的Hudi表中。 自定义:数据将同步至自行指定的Hudi表中。 图6 整库场景下源库表和目标匹配策略 说明: 自定义匹配策略时,支持用内置变量#{source_db_name}和#{source_table_name}标志来源的库名和表名,其中表匹配策略必须包含#{source_table_name}。
MRS Hive数据连接参数说明 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为MapReduce服务(MRS Hive)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
配置离线处理集成作业 数据集成支持创建离线作业,通过在界面勾选源端数据和目的端数据,并结合为其配置的参数,实现将源端单表、分库分表、整库的全量或增量数据周期性同步至目标数据表。 本文为您介绍离线同步任务的常规配置,各数据源配置存在一定差异,请以配置作业源端参数及配置作业目的端参数为准。
名相同的Hudi表中。 自定义:数据将同步至自行指定的Hudi表中。 图8 整库场景下源库表和目标匹配策略 说明: 自定义匹配策略时,支持用内置变量#{source_db_name}和#{source_table_name}标志来源的库名和表名,其中表匹配策略必须包含#{source_table_name}。
Schema名相同的Hudi表中。 自定义:数据将同步至自行指定的Hudi表中。 图7 整库场景下源库表和目标匹配策略 说明: 自定义匹配策略时,支持用内置变量#{source_db_name}和#{source_table_name}标志来的源库名和表名,其中表匹配策略必须包含#{source_table_name}。
指标定义 经过数据调研和需求分析之后,您需要根据需求落地指标。指标是衡量目标总体特征的统计数值,是能表征企业某一业务活动中业务状况的数值指示器。指标一般由指标名称和指标数值两部分组成,指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。
DataArtsStudio实例一键购买接口 功能介绍 DataArtsStudio实例一键购买接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/onekey-purchase 表1 路径参数 参数 是否必选 参数类型
查询集群详情信息列表 功能介绍 查询集群详情信息列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
min(${Column2}) from ${Schema_Table1},则输出结果说明可写为“最大值,最小值”,注意输入顺序。输出结果说明中有多个字段时,用英文逗号进行分隔。如果输出结果说明中使用中文逗号,在保存时会自动替换成英文逗号。 质量规则 入参 当“规则类型”选择“多表多字段”,需要配置该参数。
查询集群详情信息 功能介绍 查询集群详情信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
配置调度身份 数据开发模块的作业执行中会遇到如下问题: 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。
查询集群详情 功能介绍 查询集群详情接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
如何选择版本 请您根据您所需的功能和规格,慎重选择DataArts Studio版本。 购买版本后,无法直接降级版本。如已购买企业版,无法直接降级到初级版,您需要采取先备份数据,然后退订原有实例,购买新实例,最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长,
特殊类型 SET SET是一个字符串对象,可以有零或多个值,其值来自表创建时规定的允许的一列值。指定包括多个SET成员的SET列值时各成员之间用逗号(‘,’)间隔开。这样SET成员值本身不能包含逗号。 - - 不支持 JSON - - 不支持 不支持(TEXT) ENUM 当定义一个