检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为联合亿信华辰提供数据入表全方位助力 作为Gartner认可的数据资产管理标杆厂商、IDC认证的中国数据治理解决方案市场第一厂商，亿信华辰一直走在数据资产化前列。面对数据入表的需求，亿信华辰不仅提供全套数据治理软件，让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件：
通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts
单击“请选择”按钮，您可以选择一个已创建的OBS桶和对象，系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数，DataArts Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中，{projectId}即项目ID。 DLI脏数据OBS路径 用于指定DataArts
创建数据连接需要注意哪些事项？ RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 数据连接中
考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，导致源端抽取速度下降，因此链路速度过慢请优先排查目的端写入速度，在排除目的端因素后再排查上游。 目的端写入慢 检查目的端负载是否已达到目的端数据源上限，如D
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件：
Hadoop：MRS Hudi 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 消息系统 DMS Kafka 对象存储：OBS Apache Kafka Hadoop：MRS Kafka 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。
使用成本 起步成本低，后期成本较高 起步成本高，后期成本较低 数据质量 包含大量原始数据，使用前需要清洗和标准化处理 质量高，可作为事实依据 适用对象 数据科学家、数据开发人员为主 业务分析师为主 华为智能数据湖方案 华为数据使能服务DAYU，为大型政企客户量身定制跨越孤立系统、感知业务
隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法：
隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法：
"obs:object:PutAccessLabel", "obs:bucket:ListBucket", "obs:bucket:GetBucketCORS", "obs:buc
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成
ORACLE 请参见ORACLE数据连接参数说明。 DIS 请参见DIS数据连接参数说明。 主机连接 请参见主机连接参数说明。 对象存储服务（OBS） 请参见OBS数据连接参数说明。 Apache HDFS 请参见Apache HDFS数据连接参数说明。 MRS Hudi 请参见MRS
文件存储格式：Parquet、TextFile、SequenceFile。 OBS存储路径：指定OBS文件存储的路径。 支持填写#{source_topic_name}内置变量，可将源端不同的topic的数据写入不同的路径下。例如：obs://bucket/dir/test.db/prefix_#
式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。 为保证网络互通，OBS桶区域请选择和DataArts Stud
然后上传到OBS桶？ 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 解决方案 CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CDM作业，源端是SFTP协议，目的端是OBS，将文件传过去。
partition策略。 按源端分区投递到对应的Partition：源端消息在第n个分区，则投递到目的端的第n个分区，该策略可以保证消息顺序。 按轮询模式投递到不同的Partition：采用Kafka粘性分区策略均匀的投递到目的端主题的所有分区，该策略无法保证消息顺序。 全部投递到Partition 0。
支持按HBase的Region分片。 Apache Hive HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。 对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库
与来源表同名：会迁移至目的端对应与来源表同名的表中。 自定义：支持用户指定目的端表名，也支持通过内置参数#{source_table_name}给源表名添加前后缀，变成目的端Hudi表的表名。 目标数据源配置： 数据存储路径：Hudi数据存储的基础路径，只对自动建表生效。每张目的端表会在基础
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
