检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
writeToLink 否 String 脏数据要写入的连接，目前只支持写入到OBS连接或HDFS连接。例如：“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称，只有当脏数据要写入OBS连接的时候，此参数才生效。例如：“dirtyData”。
数据标准 数据标准管理着重建立统一的数据语言，各级数据层级业务对象的定义是数据标准的载体，并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来，但没有落IT系统的业务对象，需在后继的开发中进行数字化落地。 数据开发
Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON
Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts
String 资源文件所在OBS路径，当类型为jar时，location为主Jar包所在路径。最多256个字符。示例：obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。
行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 如果字段映射
行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 如果字段映射
决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 linkConfig.accessKey 否 String 访问标识（AK）。obs支持选是时需配
关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。
数据开发操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api) 修改作业
挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。
单击“新建导入”，选择导入方式后，配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”，上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”，勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源，则单击“下一步”需要配置数据连接。
实时处理：对源源不断产生的新数据进行实时处理和分析，以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理，并给出相应的结果或触发相应的操作。 选择目录 选择作业所属的目录，默认为根目录。 日志路径 选择作业日志存放路径，默认为obs://dlf-log-..
通过内置的正则表达式规则，校验数据表中指定字段的合法情况。 正则表达式校验 通过输入自定义的正则表达式，校验数据表中指定字段的合法情况。 IP地址校验 通过内置的正则表达式规则，校验数据表中指定字段的合法情况。 电话格式校验 通过内置的正则表达式规则，校验数据表中指定字段的合法情况。
单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，
页面提示完成用户的创建。 MRS 3.1.0及之后版本集群，所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接；如果需要对应组件的进行库、表、数据的操作，还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群，所创建的用户需要具备Man
Studio配置数据搬迁简介 实例内的工作空间包含了完整的功能，工作空间的划分通常按照分子公司（集团、子公司、部门等）、业务领域（采购、生产、销售等）或者实施环境（开发、测试、生产等），没有特定的划分要求。 随着业务的不断发展，您可能进行了更细致的工作空间划分。这种情况下，您可以参
DCMM标准分析提炼出了组织数据管理的八大能力域，分别为数据战略，数据治理，数据架构，数据标准，数据质量，数据安全，数据应用，以及数据生存周期；并对每项能力域进行了二级能力项（28个过程项）和发展等级的划分（5个等级）以及相关功能介绍和评定指标（445项指标）的制定。 该标准适用于信息系统的建设单位，应
基本参数 数据库名称 选择待迁移的数据库。 mongodb 集合名称 相当于关系数据库的表名。单击输入框后面的按钮可进入选择集合名的界面，用户也可以直接输入集合名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 COLLECTION
图2 自然周期调度作业依赖关系全景图 如何确认当前的周期调度依赖是传统周期调度依赖还是自然周期调度依赖？ 自然周期调度在2023年6月开始全网使用。对于在此时间之后创建的租户，其所购买的实例支持自然周期调度；对于在此时间之前创建的租户，其所购买的实例支持传统周期调度。 在配置周期调
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
