正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HIVE数据源 DWS数据源 DLI数据源 database_name 否 String 数据库名 注意:该值作为查询关键字时,不能与url同时存在,需要指定其一进行查询。 schema_name 否 String schema名称。 table_name 否 String 数据表名称。 column_name
table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语
实现作业每天自动运行,Top10电影的结果自动保存到“top_active_movie”和“top_rating_movie”表。 您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图11所示。 图11 查看作业执行情况 数据开发还支持配置
是否定时执行:可选择作业是否定时自动启动。 抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。 JSON样例
table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 total 是 int 总记录数 instances
每个企业有哪些数据资产能入表,怎么开展相关工作,成为各企业的核心问题。能够入表的数据资源必须满足很多要求,首先,必须是企业合法拥有的数据,需要做完整合规授权的检查。第二是精确可计量。第三,要确保这些数据在企业生产经营过程中,创造了经济利益价值。比如,很多企业用数据做了统计分析报表
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
说明: 如果通过DataArts Studio数据开发使用参数传递并调度CDM迁移作业时,不能在CDM迁移作业中配置“作业失败重试”参数,如有需要请在数据开发中的CDM节点配置“失败重试”参数。 当前节点失败后,后续节点处理策略 当前节点执行失败后,后续节点的处理策略: 终止当前作业
别名,这里才可配置别名。 上级主题 选择所属的上级主题。 数据owner部门 数据的拥有者所在部门。 *数据owner人员 在下拉框中选择需要的数据owner人员,支持多选和自定义输入。 描述 主题域分组的描述信息。 图2 新建主题 选择新建的主题域分组,单击“发布”,在提交发布
象、逻辑实体、业务属性的数量及其详情,指标资产显示业务指标及其详情。 DataArts Studio中的技术元数据来源于元数据采集任务,您需要在创建并运行元数据采集任务后才能在数据地图中查看元数据。 父主题: 采集数据源的元数据
TAR.GZ:表示只传输TAR.GZ格式的文件。 fromJobConfig.compressedFileSuffix 否 String 需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则保持原样传输。当输入*或为空时,所有文件都会被解压。 fromJobConfig
值分隔符号,当“valueStoreType”为“STRING”时此参数有效,默认值为:“\tab”。 fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。 fromJobConfig.formats 否 数据结构 时
当前一节点的输出结果是一个字段时,输出结果形如[["000"]]所示。此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及其支持的Loop内嵌对象EL表达式获取。 #{StringUtil.split(StringUtil
导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。 清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 导入开始前为清除部分数据时,显示该参数。
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表2 参数说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称,只能包含六
managed_cluster_id String 纳管角色所在集群id(仅纳管类权限集需要)。 managed_cluster_name String 纳管角色所在集群名称(仅纳管类权限集需要)。 project_id String 项目id。 domain_id String 租户id。
表3 请求Body参数 参数 是否必选 参数类型 描述 resource_id 是 String 资源ID。 type 是 String 需要导入的资源类型:rule-template表示质量规则模板,quality-task表示质量作业,consistency-task表示对账作业。
table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。