检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建连接 功能介绍 创建连接接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/link 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID
配置OBS源端参数 作业中源连接为OBS连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 源端为OBS时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET_2 源目录或文件
新建时间限定 原子指标是计算逻辑的标准化定义，时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建，时间限定在业务板块内唯一，并唯一归属于一个来源逻辑表，计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻辑表
MRS中恢复HBase表 CDH HBase表目录已经迁移到MRS HBase后，可以使用命令恢复。对于那些会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表
Oracle数据库连接参数说明 连接Oracle数据库时，连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型
创建服务目录 功能介绍 创建服务目录。根目录编号为0。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/servicecatalogs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
获取当前目录下的目录列表（全量） 功能介绍 获取当前目录下的目录列表（全量数据，不分页，推荐仅用于生成目录树等无法分页的场景）。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id
更新服务目录 功能介绍 更新服务目录。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/servicecatalogs/{catalog_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
配置方式生成API 本节介绍如何通过配置方式生成API。 使用配置方式生成数据API简单且容易上手，您不需编写任何代码，通过产品界面进行勾选配置即可快速生成API。推荐对API功能的要求不高或者无代码开发经验的用户使用。 前提条件 已在“管理中心 > 数据连接”页面，完成数据源的配置
MySQL到MRS Hudi参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提供给用户
管理脱敏算法 为了方便对数据进行脱敏，在创建脱敏策略前，需要您准备好脱敏算法。当前系统已内置20+脱敏算法，如果内置算法可以满足您的需求，您需要提前配置对应算法参数；否则，您可以新建脱敏算法。 本章主要介绍内置脱敏算法，和如何新建脱敏算法。 约束与限制 新建随机脱敏或字符替换类型的脱敏算法时
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 说明 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 MySQL数据库建议使用版本：5.6、5.7
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "
配置行级访问控制 在业务开发过程中，存在多个开发者共同访问和维护同一张DWS表的场景，需要针对不同开发者设置不同行数据的访问权限。在这种场景下，您可以配置行级访问控制策略，为不同开发者按照行数据进行授权。 在数据安全组件新建行级访问控制策略后，通过策略同步，会将行级访问控制策略同步到
导入作业 功能介绍 将存放在OBS桶的作业文件导入到DLF，一次可以导入一个或多个作业。 执行本接口之前，需要将作业文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs
实时集成作业监控 实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系
启用账号映射（高级特性） 在未启用细粒度认证及账号映射策略的情况下，当在DataArts Studio数据开发组件执行脚本以及测试运行作业时，数据源默认会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时，权限管控依然无法生效
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.inputDirectory
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
