检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量，以提高性能。 properties.max.partition.fetch.bytes int 1048576 消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll
置为访客。 表1 企业模式内的权限 - 简单空间 企业空间 管理者 拥有生产环境管理中心的所有权限，包含连接配置、数据导入导出等。 增加了部署相关的新操作 进行管理中心的连接配置、环境隔离配置，数据导入导出等 进行数据开发配置，比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。
REBOOT_FAILURE：重启失败。 type String 节点类型，只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结：0：否。1：是。 components String 组件。 config_status
String 数据连接名称，只读，创建和更新时无需填写。 owner String 资产责任人。 create_by String 创建人。 queue_name String dli数据连接执行sql所需的队列，数据连接类型为DLI时必须。 dw_id String 数据连接ID。 db_name
DataArts Studio是否支持私有化部署到本地或私有云？ DataArts Studio必须基于华为云底座部署。资源隔离场景下，支持以全栈专属云模式部署，另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Onli
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？ 问题描述 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table
注意，当前仅支持DATE和TIMESTAMP类型的字段，不支持TIME格式。 跨源级 一致性 跨源字段一致性校验 HETUENGINE 基于Hetu连接，针对不同数据源的不同字段，校验数据表中指定字段是否与参考字段一致。 系统内置的规则模板不可编辑和查看发布历史。 当系统内置规则模板不足以
String 数据连接名称，只读，创建和更新时无需填写。 owner String 资产责任人。 create_by String 创建人。 queue_name String dli数据连接执行sql所需的队列，数据连接类型为DLI时必须。 dw_id String 数据连接ID。 db_name
table2_name String 表2名称。 join_type String 关联类型。 枚举值： LEFT: 左外连接 RIGHT: 右外连接 INNER: 内连接 FULL: 全连接 join_fields Array of MappingJoinFieldVO objects on条件。
目前数据集成集群支持以下部分规格供用户选择： cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适
概览 本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导，每个实践我们提供了详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS
息，输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框，进入“单连接SQL并发数配置”页面，配置SQL并发数。输入值必须在10到1000之间。单击“确定”，完成配置。 说明： 并发数是指单个数据连接下的SQL并发数，如果超出则等待排队执行。 表2 规则实例列表说明 菜单/按键
String 数据连接名称，只读，创建和更新时无需填写。 owner String 资产责任人。 create_by String 创建人。 queue_name String dli数据连接执行sql所需的队列，数据连接类型为DLI时必须。 dw_id String 数据连接ID。 db_name
数据治理分层。 枚举值： SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。
用户流量限制（次/s） 创建连接（待下线） 创建一个新连接。 - - 查询连接列表（待下线） 查询连接列表。 - - 查询连接详情（待下线） 查询指定连接的配置详情。 - - 修改连接（待下线） 编辑修改连接的配置。 - - 删除连接（待下线） 删除一个连接。 - - 导出连接（待下线） 导出
数据治理分层。 枚举值： SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“权限报告”，进入权限报告页面。 选择MRS集群（Ranger连接） > 服务查看该服务的策略及策略详情。 高级搜索功能： 您在查看报告时，可以使用搜索操作，高级搜索提供了根据集群、策略名称、用户、用户组
Studio工作空间模式，使用方便，但无法对数据开发流程和表权限进行强管控。 企业模式：企业模式下DataArts Studio数据开发组件以及对应管理中心组件数据连接支持设置开发环境和生产环境，有效隔离开发者对生产环境业务的影响。企业模式的相关介绍请参见企业模式概述。 企业项目 DataArts Stu
化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
