检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
ed Values，CSV）格式文件，文件大小不超过20M，并保存到本地。 已完成数据水印嵌入任务，请参考嵌入数据水印。 约束与限制 数据水印溯源的源文件大小不能超过20MB。 为实现准确溯源，请确保数据的完整性以及正确性：数据水印溯源的表数据文件第一列不允许为空，表数据记录数建议在5000以上。
Hive连接时，提示无法下载配置文件，实际是用户权限不足。建议您新建一个业务用户，给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在
e029 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致，则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值 不同语言SDK包 SHA256值 Java 77e033
存放待移动或复制OBS文件的新目录。 文件过滤器 否 输入文件过滤的通配符，满足该过滤条件的文件才会被移动或复制。当不指定该参数时，默认移动所有源文件。例如：匹配文件名以.csv结尾的文件，输入通配符*.csv。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
规范化的数据如何使用？ 问题描述 规范化的数据使用场景需要说明下。 解决方案 规范化的数据可以作为BI的基本信息，也可以作为上层应用的源数据，也可以接入各类数据可视化报表等。 父主题： 数据架构
浏览器下载地址，获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面，选择需要导出的作业范围和状态，单击“确定”，可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务，如无OBS服务，可从本地导入。 从OBS导入的作业文件，最大
文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法： Log4J日志 Log4J审计日志 Tomcat日志
文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法： Log4J日志 Log4J审计日志 Tomcat日志
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
单击“共享”，在弹出的窗口中勾选需要共享的工作空间后，单击“确定”完成集群共享。 图4 选择工作空间 对于已共享集群的工作空间，您可以在该工作空间内，正常查看、使用该集群。 如后续需要取消该工作空间的集群共享，则需要先下线该工作空间已在集群上发布的API，再到绑定工作空间的数据服务集群详情页面，取消共享。
请至少输入元数据、边数据集与点数据集中的其中一个字段。 元数据 否 根据“元数据来源”的选择，本参数有不同的填写方式。 如果元数据来源为已有文件，单击输入框中的并选择对应的元数据文件 。 如果元数据来源为新建元数据，单击输入框中的，进入新建元数据的界面，分别选择MRS Hive中的点表和边表，并填写元数据输
所需导入的主题设计文件，可以通过以下两种方式获得。 下载主题导入模板并填写模板 在“导入配置”页签内，单击“下载主题导入模板”下载模板，然后根据业务需求填写好模板中的相关参数并保存。模板参数的详细描述请参见表3。 导出的主题设计信息 您可以将某个DataArts Studio实例的数据架构中已建立的主题设计信息导出
解压认证凭据文件后可以获取两个文件： “krb5.conf”文件包含认证服务连接信息。 “user.keytab”文件包含用户认证信息。 下载认证凭据的详细信息请参考下载MRS集群用户认证凭据文件。 图4 下载认证凭据 上传Impala用户认证凭据到待操作节点的Impala客户端安装目录
在导出窗口中单击“确认”导出全量API，单击确认即可以Excel文件的形式导出API。 图1 全量导出API 打开下载到本地的Excel文件，可以查看导出的API。不同类型的API会分别导出到文件页签中，单击下方页签可以切换查看并编辑。 图2 Excel文件样式 导出API 在DataArts Stu
SDK”。 单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下，打开本地命令提示符框，输入如下命令，在本地生成已下载SDK包的SHA256值，其中，“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名，请根据实际情况修改。
支持的数据源 数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式，不同的同步方式支持的数据源有所不同： 单表同步：适用于数据入湖和数据上云场景下，表或文件级别的数据同步，支持的数据源请参见表/文件同步支持的数据源类型。 分库分表同步：适
thon脚本的调度频率很高，ECS主机会将Agent的内网IP加入黑名单。为了保障作业的正常调度，强烈建议您使用ECS主机的root用户将绑定Agent（即CDM集群）的内网IP加到/etc/hosts.allow文件里面。 CDM集群的内网IP获取方式请参见查看并修改CDM集群配置。
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标 父主题： 数据集成（CDM作业）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
