检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“|”分隔，也可以自定义文件分隔符，具体请参见文件列表迁移。
20150907T101459Z Host 请求的服务器信息，从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口，https的默认端口为443。 使用AK/SK认证时必选。 code.test.com or code.test.com:443 X-Project-Id
使用API时，每个子域名每天可以访问多少次？ 每个子域名的访问次数限制与API发布到的目标有关。 共享版默认发布到API网关共享版。发布成功后，您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名，此调试域名唯一且不可更改，此调试域名每天
53440ccb-3e73-4700-98b5-71ff5476e621 项目ID KMS ID所属的项目ID，该参数默认值为当前CDM集群所属的项目ID。 当“KMS ID”与CDM集群在同一个项目下时，这里的“项目ID”保持默认即可。 当“KMS ID”使用的是其它项目下的KMS ID时，这里需要修改为KMS所属的项目ID。
SQL脚本时，提示id不存在，如何处理？ 可能原因 在执行DWS SQL脚本时，提示id不存在，原因是由于id的大小写引起的。 解决方案 DWS执行SQL时，系统默认是小写，如果是大写字段需要加""。 举例：select * from table1 order by "ID"; select * from
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型
的admin账号即可作为Ranger管理员账号，安全集群需要使用rangeradmin作为Ranger管理员账号，rangeradmin默认密码请参考用户账号一览表章节。 图5 登出当前账号 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签，单击Add
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
脱敏场景介绍。 运行使用自定义哈希类型脱敏算法的静态脱敏任务时，如果使用了dws-SM3密码杂凑算法，则必须选择DWS引擎运行，要求DWS集群版本不低于8.1.3；如果使用了通用-SM3密码杂凑算法，则必须选择DLI或MRS引擎运行。 DLI引擎的静态脱敏任务，运行参数需要存储在
数据开发可以创建多少个作业，作业中的节点数是否有限制？ 问题描述 数据开发中，该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业，每个作业建议最多包含200个节点。 另外，系统支持用户根据实际需求调整最大配额。如有需求，请提交工单进行申请。
MongoDB连接迁移失败时如何处理？ 问题描述 MongoDB连接迁移失败时如何处理？ 解决方案 在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。
s Studio实例时自动创建的数据集成集群。 用户名：数据库的用户名，创建DWS集群时指定的用户名，默认为dbadmin。 密码：数据库的访问密码，创建DWS集群时指定的密码。 图2 DWS连接配置参数 DWS连接创建完成后，跳转到数据开发页面。 图3 跳转到数据开发页面 创建DWS数据库和数据库模式。
输入超时时间。输入值必须在5到1440之间。单位为分钟。该参数为空或者默认1440分钟时，超时时间系统默认为24小时，支持修改。 单击“下一步”，进入规则配置页面，每个规则卡片对应一个子作业。您需要单击规则卡片中的，然后参见表2配置数据质量规则。默认规则配置完成后，您也可选择继续添加更多的质量规则，
字段分隔符，当文件格式为“CSV_FILE”时此参数有效，默认值为：“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符，选择“true”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 fromJobConfig.regexSeparator
右键单击作业目录，在弹出菜单中单击“新建作业”。 图5 作业 在弹出弹框中输入“作业名称”如demo_taxi_trip_data，“作业类型”选择“批处理”，其他参数保留默认值，单击“确定”完成批作业创建。 图6 新建批处理作业 如下图所示，编排批作业。 图7 编排作业 每个节点配置如下： source_sdi节点：为CDM
Oracle数据源如何开通归档日志、查询权限和日志解析权限？ 问题描述 Oracle数据源默认权限无法正常执行实时处理集成作业。 原因分析 Oracle库需要开启归档日志，归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。
如何实现用户的工作空间隔离，使其无法查看其他未授权工作空间？ DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下，当为普通用户配置了DAYU User系统角色，未添加为某个工作空间角色时，则该用户无法查看此工作空间。 注意，如果该普通用户同时被配置了DAYU
原因分析 DWS数据库为oracle兼容模式时，会将空字符串视为NULL做处理，因此在有数据的场景下，不能添加默认值为空串的非空列。 解决方案 1. 修改源端DDL语句，新增列的默认值设置为非空字符串。 2. 如果无法修改DDL，则需要将DWS的数据库更换为mysql兼容模式，建库语句如：create
支持提示，一般，严重和致命四种级别，作业级别决定发出通知消息的模板样式。 超时时间 输入超时时间。输入值必须在5到1440之间。单位为分钟。该参数为空或者默认1440分钟时，超时时间系统默认为24小时，支持修改。 单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后参见表2配置数据对账规则。您也可选择添加对账规则。
（可选）修改作业日志存储路径 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
