检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件中的换行符，默认自动识别“\n”、“\r”或“\r\n”。“文件格式”为“二进制格式”时该参数值无效。 \n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 使用包围符 “文件格式”为“CSV格式”，才有该参数，用于将数据库的表迁移到文件系统的场景。
通知方式选择“按责任人”时才需配置。 短信 邮件 电话 单击“校验联系方式”，系统会自动校验作业责任人信息是否已配置。如果作业责任人信息未配置，请前往终端订阅管理界面进行配置。 单击“查看订阅信息”，会自动跳转到终端订阅管理界面查看已配置的终端订阅信息。 说明： 终端协议为电话和短信时
搜索事实表。如果您尚未创建事实表，请参见新建事实表并发布进行创建并发布。 *所属主题 原子指标所属的主题信息。当“数据表”选择事实表后，将自动显示事实表所属的主题信息，您也可以单击“选择主题”进行选择。 *设定表达式 根据实际情况选择所需要的函数和字段，并设定表达式。函数列表及函数说明请参考函数说明。
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提
通过DataArts Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移的服务，支持自建和云上的文件系统，以及关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接 新建表/文件迁移作业
作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明： 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 脚本类型 是 离线脚本 在线脚本
会预置一条默认策略，该策略默认给所有用户最大的密级访问权限；在管理员将策略配置好后，可删除此默认策略。 前提条件 已通过敏感数据识别任务，自动或手动将敏感数据同步到数据地图组件，详见发现敏感数据或查看敏感数据分布。 约束与限制 仅DAYU Administrator、Tenant
文件过滤器：配置为“*${dateformat(yyyyMMdd,-1,DAY)}*”（这是CDM支持的日期宏变量格式，详见时间宏变量使用解析）。 图1 文件过滤 配置作业定时自动执行，“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录，实现增量同步。 文件增量迁移场景下，“路径过滤器”的使用方法
文件格式为二进制格式时显示该参数。 将二进制文件先写入到临时文件。临时文件以".tmp"作为后缀。 否 换行符 文件格式为CSV格式时显示该参数。 文件中的换行符，默认自动识别"\n"、"\r"或"\r\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。或通过编辑作业json方式配置，无需URL编码。
触发运行一次对账作业为例的配置。 单击“提交”，对账作业创建完成。 查看对账作业。 单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。 结果分析 至此，完成了通过DataArts
层级（例如数据库、数据表或数据列）不允许选择多个对象进行批量授权。当前权限类型暂不支持选择为“禁止”。 值得注意的是，库、表、列的权限是分层管理的，例如仅授予库权限后，则被授权用户对表和列依然是无权限的，如需对表或列授权，要再次按照对应层级进行授权。 例如，选择数据库授权，当手动
支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 例如：dbname 驱动版本 否 选择ClickHouse驱动版本。 CLICKHOUSE_0_3_1：适用于连接ClickHouse 20.7以下版本，此驱动版本不支持多IP连接数据库服务器。 CLICKHOU
Hive、DLI、MRS ClickHouse、DORIS。 指标都是基于数据连接的，所以在建立指标之前需要先到元数据管理模块中建立数据连接。 数据库/队列 选择指标运行的数据库。 说明： 当数据源为DLI时，需要选择运行的队列。 描述 为更好的识别业务指标 ，此处加以描述信息。描述信息长度不能超过4096个字符。
Ranger连接中的用户需具备Ranger组件Admin权限。 DWS连接中的数据库用户，在非三权分立模式下至少需具备数据库dbadmin权限，三权分立模式下需具备系统管理员权限。 配置方法详见检查集群版本与权限。 如果希望在快速模式下权限配置时能够展示数据连接中数据库、表以及字段等元数据提示信息，则需要在数据目
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符，默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。或通过编辑作业json方式配置，无需URL编码。
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据，当服务故障后，通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息，请参见备份管理。 父主题： 安全
文件过滤器：配置为“*${dateformat(yyyyMMdd,-1,DAY)}*”（这是CDM支持的日期宏变量格式，详见时间宏变量使用解析）。 图1 文件过滤 配置作业定时自动执行，“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录，实现增量同步。 文件增量迁移场景下，“路径过滤器”的使用方法
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
