检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么权限同步到DLI中，会提示权限不够？ 权限同步到DLI的任务通过云服务委托（dlg_agency）完成，因此需要委托拥有IAM认证服务相关权限，具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统
如何将一个空间的数据开发作业和数据连接迁移到另一空间？ 您需要通过导入导出功能，分别将旧空间的数据连接和作业数据导入到新空间内。 数据连接数据，需要在管理中心的资源迁移进行导入导出。具体操作请参考资源迁移。 作业数据，需要在数据开发中将作业导入导出。具体操作请参考导出导入作业。 父主题： 管理中心
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题： 网络打通
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题： 网络打通
直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移，但因为“重复文件处理方式”选择了“跳
在用户同步任务页面，单击“新建”，新建用户同步任务。 图1 新建用户同步任务 新建用户同步任务参数配置请参考表1，参数配置完成单击“确定”，即可新建用户同步任务。 图2 配置用户同步任务 表1 配置用户同步任务参数说明 配置 说明 *选择集群 选择DWS或Ranger数据连接中已连接的DWS或MRS集群。
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 问题描述 创建了Hive到DWS类型的连接，进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 父主题：
”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。单击“新建资源”，在数据开发模块中创建一个资源关联到1的JAR包，资源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业，通过作业的DLI
在“识别规则”页面单击“新建”，创建识别规则。 图1 新建识别规则 新建规则参数配置请参考表1，参数配置完成单击“确定”即可。 图2 规则配置 表1 配置识别规则参数说明 配置 说明 *规则类型 即规则所属分类，支持按模板添加内置规则和自定义规则。 *数据密级 对配置的数据进行等级划分。如果现有的分级不满足需求，
ation后，Migration大概需要多少资源承载新作业，规划作业的拆分和创建。资源不够的情况下请购买新资源组。 资源估算维度包括： DRS任务表数量 进入DRS任务，查看同步映射可以看到表数量。Migration单个作业表数量配置在50张以内性能最佳。 图1 查看DRS任务表数量
新建作业”，创建迁移H公司贸易数据到OBS的作业， 如图4所示。 图4 创建作业 作业名称：用户自定义作业名称。 源端作业配置： 源连接名称：选择5创建的HDFS连接“hdfs_link”。 源目录或文件：配置为H公司贸易数据在本地的存储路径，可以是一个目录，也可以是单独一个文件。这里配置为目录，CDM会迁移整个目录下的文件到OBS。
删除工作空间的前提是各组件内已无业务资源，各组件校验的资源如下： 管理中心组件：数据连接。 数据集成组件：数据集成集群。 数据架构组件：主题设计，逻辑模型，标准设计，物理模型，维度建模和指标。 数据开发组件：作业，作业目录，脚本，脚本目录和资源。 数据质量组件：质量作业和对账作业。
Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。 使用Bucket索引：通过在“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中配置index.type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成（CDM作业）
单击，进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 您需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Spark作业名称 是 MR
选择数据连接及资源组 无可选数据连接时，可单击“新建”跳转至管理中心数据连接界面，单击“创建数据连接”创建数据连接，详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时，可单击“新建”跳转至购买资源组页面创建资源组配置，详情请参见购买数据集成资源组增量包进行配置。
CDM迁移数据到DWS时如何选取分布列？ 问题描述 CDM迁移数据到DWS时如何选取分布列？ 解决方案 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。
监控安全风险 DataArts Studio提供基于云监控服务CES的资源监控能力，帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群，执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。
在“通知管理”页签，单击“通知配置”，弹出“通知配置”页面，配置如表1所示的参数。 图1 通知配置 表1 通知参数 参数 是否必选 说明 作业范围 是 选择通知的范围。 单个作业：对单个作业发送通知。 所有作业：对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
