检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基础与网络连通配置 OBS终端节点 是 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进入OBS控制台概览页，单击桶名称后查看桶的基本信息获取。 端口 是
STRING 写入前将相同的键删除 写入前是否将相同的键删除。 否 高级属性 键分隔符 用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储，列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; key值有效期 设置统一的生存时间。单位：秒。 3600 父主题： 配置作业目的端参数
无 加密方式 选择是否对上传的数据进行加密，以及加密方式： 无：不加密，直接写入数据。 KMS：使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 详细使用方法请参见迁移文件时加解密。 KMS KMS ID 写入文件时加密使用的密钥，“加密方式”选择
值存储类型 存储类型分STRING、HASH。 STRING 高级属性 键分隔符 用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储，列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; 字段相同 “值存储类型”选择“HASH”时，显示该参数，是否允许哈希键内有相同的字段。
基础与网络连通配置 连接方式 是 选择所需的连接方式，推荐使用“通过代理连接”。 通过代理连接：通过Agent（即CDM集群）进行代理，以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接：以MRS API的方式访问MRS集群。MRS
replication <src_user_name> <drs_instance_ip>/32 <认证方式>”；认证方式可参考PostgreSQL官方文档pg_hba.conf文件配置，常见的认证方式有scram-sha-256等。 在源库使用SUPERUSER用户执行语句“select p
PLE”。 toJobConfig.storageType 是 枚举 将数据写入到HBase表中的方法： PUTLIST：put list方式写入。 toJobConfig.columns 否 String 需要抽取数据的列，列号之间使用“&”分割，列族与列之间用“:”分隔，例如：“cf1:c1&cf2:c2”。
业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi表开启“同步hive表配置”后，可通过采集MRS Hive元数据的方式采集Hudi表的元数据） 详情请参见支持的数据源。 父主题： 数据目录
基础与网络连通配置 连接方式 是 选择所需的连接方式，推荐使用“通过代理连接”。 通过代理连接：通过Agent（即CDM集群）进行代理，以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接：以MRS API的方式访问MRS集群。MRS
说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 redis_link Redis部署方式 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 Proxy：表示通过代理部署。 Single Redis服务器列表
针对通过代理连接的MRS Hive，需要选择MRS API方式或者代理方式提交： MRS API方式：通过MRS API的方式提交。历史作业默认是MRS API提交，编辑作业时建议不修改。 代理方式：通过用户名、密码访问的方式提交。新建作业建议选择代理提交，可以避免权限问题导致的作业提交失败。
业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
Studio增量包页面，参见表1进行配置。 表1 购买数据服务专享版实例参数说明 参数项 说明 增量包类型 选择数据服务专享集群增量包。 计费方式 实例收费方式，当前支持“包年包月”。 工作空间 选择需要使用数据服务专享集群增量包的工作空间。例如需要在DataArts Studio实例的工作
业务场景管理”。 单击“新建”，在弹出的对话框中，配置相关参数，新建场景。 图6 基本配置 图7 规则组配置 单击“下一步”，选择调度方式，支持单次调度和周期调度两种方式。 在业务场景管理列表中，单击操作列的“运行”，再跳转到运维管理模块。 单击“运行结果”，查看具体的指标监控情况。 图8 运行结果
Studio数据血缘实现方案 数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业
Studio数据血缘实现方案 数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业
名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进入OBS控制台概览页，单击桶名称后查看桶的基本信息获取。 说明：
} ] } 连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 linkConfig.serverlist 是 String 服务器地址
10次，则会终止调度。 由于联邦用户在只有用户组信息，因此联邦用户无法同步。 由于数据源只会同步自身租户的用户信息，因此对于通过IP连接等方式非当前租户的数据源集群无法同步。 当前用户同步仅支持MRS Hive和DWS数据源，DWS数据源必须进行用户同步，MRS数据源可以按自身需
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
