检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方式1：用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶，并将操作权限赋予调度用户。 OBS路径仅支持OBS桶，不支持并行文件系统。 方式2：在IAM用户权限中增加全局OBS管理员权限。 父主题： 数据开发
配置CDM作业定时任务 在表/文件迁移的任务中，CDM支持定时执行作业，按重复周期分为：分钟、小时、天、周、月。 CDM在配置定时作业时，不要为大量任务设定相同的定时时间，应该错峰调度，避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了
该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题，为主题添加订阅。 已提交作业，且作业不是“未启动”状态。 已开通对象存储服务，并在OBS中创建文件夹。 配置通知 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts St
索服务（DLI）时，目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。dli-tra
需手动重新调整为单行）。 单击“文件 > 另存为”，在弹出的对话框中，“保存类型”选择为“所有文件(*.*)”，在“文件名”处输入文件名和.csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储
脚本：脚本（Script）是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合，在其中可以实现一定的逻辑分支等。 节点：定义对数据执行的操作。 资源：用户可以上传自定义的代码或文本文件作为资源，以便在节点运行时调用。
需要先将样例数据存储为CSV文件，将CSV文件上传至OBS服务中。 创建CSV文件（UTF-8无bom格式），文件名称为对应的数据表名，将后文提供的各样例数据分别复制粘贴到不同CSV文件中，然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一： 使用文本编辑工具
查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。 请检查OBS文件。 400 DLF.1006 The job node is empty. 作业的节点为空。 请检查节点。 400 DLF
过导入泄露文件运行溯源任务提取水印标识，精准定位泄露单位及责任人。 文件水印 文件水印支持如下两种场景，能够将水印注入数据文件中，实现对安全事件精准定位追责。 对结构化数据文件（csv、xml和json）注入暗水印，水印内容不可见，需要进行水印提取。 对非结构化数据文件（docx
主题信息。 您可以下载系统提供的主题设计模板，在模板文件中填写主题的相关参数后，使用模板批量导入主题信息。 您可以预先将某个DataArts Studio实例的数据架构中已建立的主题设计信息导出到Excel文件中。导出后的文件可用于导入。导出主题设计信息的操作，请参见导出主题设计信息。
批量导出可将需要导出的作业导出保存为JSON文件，用于备份或导入到别的集群中。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”，选择JSON格式的文件导入或文本导入。 文件导入：待导入的作业文件必须为JSON格式（
DCMM评估流程分为如下步骤： 评估工作部遴选试点评估单位。 入选的试点评估单位向评估机构提交有效的申请材料。 评估机构受理评估申请后，组织实施文件评审和现场评审并出具评估报告，给予评估等级的推荐意见，并报评估工作部备案。 评估工作部对评估机构报送的评估结果进行合规性审查。对于合规性审
Redis连接参数说明 Redis连接适用于用户在本地数据中心或ECS上自建的Redis，适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作
新建随机脱敏或字符替换类型的脱敏算法时，如果选择将敏感数据脱敏为样本库脱敏，则测试算法时限制样本文件大小不能超过10kb。注意，10kb仅为算法测试功能的限制，静态脱敏时并不限制样本文件大小不超过10kb。 新建哈希类型的脱敏算法时，其中的dws-SM3密码杂凑算法是DWS引擎专有
场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce
准备数据集数据。您可以通过以下方式之一获取数据集： 您可以将表1数据导入到DLI表中，然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中，然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件，然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流，DWS创建外表请参见创建外表。
数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启
使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。 注意事项 当迁移动作影响到客户的HDFS集群时，需要手动停止作业。 如果作业出现大批量的失败： 先检查DES
准备数据集数据。您可以通过以下方式之一获取数据集： 您可以将表1数据导入到DLI表中，然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中，然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件，然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流，DWS创建外表请参见创建外表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
