检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“当前文件夹”，采集任务仅采集OBS路径中设置的文件夹下的对象。 选择“当前文件夹和所有子文件夹”，采集任务会采集OBS路径中设置的文件夹下所有的对象，包括其子文件夹下的对象 采集内容 选择待采集数据的采集内容。 选择“文件夹和对象”，采集任务采集文件夹和对象。 选择“ 文件夹”，采集任务仅采集文件夹。 DIS 是否采集转储任务
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？ 问题描述 在使用CDM迁移数据到数据仓库服务（DWS）时，迁移作业失败，且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
com/object-key 列表文件 选择“是”，将待上传的文本文件中所有URL对应的文件拉取到OBS，文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm
批量导出可将需要导出的作业导出保存为JSON文件，用于备份或导入到别的集群中。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”，选择JSON格式的文件导入或文本导入。 文件导入：待导入的作业文件必须为JSON格式（
node start execute failed, so the current node status is set to cancel.”怎么处理？ 问题描述 作业实例取消了，日志提示“The node start execute failed, so the current node
String 需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则保持原样传输。当输入*或为空时，所有文件都会被解压。 fromJobConfig.fileSeparator 否 String 传输多个文件时，CDM使用这里配置的文件分隔符来区分各个文件，默认为|。 fromJobConfig
当换行符处理方式选择为替换时，指定替换的字符串。 - 高级属性 写入到临时文件 文件格式为二进制格式时显示该参数。 将二进制文件先写入到临时文件。临时文件以".tmp"作为后缀。 否 换行符 文件格式为CSV格式时显示该参数。 文件中的换行符，默认自动识别"\n"、"\r"或"\r\n"。手动
权限。 数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示： 权限自助申请：用户可以选择自己需要权限的数据表，在线上快速发起申请。
前提条件 已新增Python脚本，请参见新建脚本。 已新建主机连接，该Linux主机配有用于执行Python脚本的环境。新建主机连接请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的
通用操作 逆向数据库（关系建模） 逆向数据库（维度建模） 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题： 数据架构
txt”，内容为一段英文单词。 操作步骤： 将脚本和数据文件传入OBS桶中，如下图。 图1 上传文件至OBS桶 本例中，wordcount.py和in.txt文件上传路径为：obs://obs-tongji/python/ 创建一个数据开发模块空作业，作业名称为“job_MRS_Spark_Python”。
MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ 问题描述 1. 运行migration mysql2dws链路的实时同步作业，DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下，源端MySQL执行DDL语句，添加带非空约束的列，默认值为空字符串，如：alter
质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤
导入导出接口 导出资源 获取导入导出的任务状态 下载资源任务文件 上传导入的文件接口 导入资源 父主题： 数据质量API
料链接，按照相应指导获取驱动文件。 在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理
支持OBS路径和DLI程序包两种类型的资源。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。 DLI程序包：作业执行前，会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？ 问题描述 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with
选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新
Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？ 问题描述 Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
