检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除数据连接 功能介绍 删除数据连接。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/data-connections/{data_connection_id} 表1 路径参数 参数 是否必选 参数类型 描述 data_connection_id
启动、调度、停止采集任务 功能介绍 启动、调度、停止采集任务。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/metadata/tasks/{task_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
1f56e082acb20c8eb05ccc4 准备数据文件“in.txt”,内容为一段英文单词。 操作步骤 将作业资源包和数据文件传入OBS桶中。 本例中,WordCount.jar文件上传路径为:lkj_test/WordCount.jar;word.txt 文件上传路径为:lkj_test/input/word
使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll 可选参数,每次向Kafka请求数据限制最大请求记录数。
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
项目ID和账号ID 获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,
批量删除权限集成员 功能介绍 批量删除权限集成员。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-sets/{permission_set_id}/members/batch-delete 表1 路径参数
批量打标签(邀测) 功能介绍 批量给资产打标签。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/datamap/entities/guids/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
批量删除API 功能介绍 批量删除API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
获取网关分组 功能介绍 获取网关分组。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apigw/instances/{apig_instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 project_id
获取网关实例(专享版) 功能介绍 获取网关实例(专享版)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apigw/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询权限集中配置的url信息 功能介绍 查询权限集中配置的url信息,例如obs、hdfs等组件中的url路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/urls 表1
查询支持的版本 功能介绍 查询CDM集群支持的版本。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/datastores 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
规格变更接口 功能介绍 规格变更接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/change-resource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化 Kafka写入优化 Kafka写入通常速率极快,若有阻塞的场景请优先增加并发解决。 父主题: 任务性能调优
records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化 OBS写入优化 若开启了自动合并可尝试关闭,否则请优先增加并发解决。 父主题: 任务性能调优
DAY)}*”(这是CDM支持的日期宏变量格式,详见时间宏变量使用解析)。 图1 文件过滤 配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
S连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists.txt
选择指标的刷新频率。开发者或运维者可以依据指标的刷新频率,合理设置指标开发的调度频率。 指标应用场景 描述指标的应用场景。 例如,用于衡量地区经营效益,支撑商业决策。 度量对象 衡量该指标的度量字段。 例如,该示例中,可以设置为营业额。 计量单位 指标的计量单位。 例如,该示例中,可以设置为元。 配置管理信息。 图4
作的协助者。 确保领域治理工作的流程和内容规范,符合数据治理要求。 协助数据代表进行问题跟踪和解决。 梳理、维护并更新领域数据元数据(业务对象、数据标准、数据模型)。 推广和维护数据治理工具和平台在本领域的应用。 数据专员(Data Specialists):数据专员是领域数据治理工作的专家团队。