检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为MongoDB连接或者DDS连接时,高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参
tion_name} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 connection_name 是 String 连接名称。 请求参数 表2 请求Header参数 参数名
拥有生产环境的作业及脚本开发的所有权限。 开发环境:所有操作 生产环境:只读操作 部署:增加了打包、查看发布项、查看发布项列表、查看发布包内容 环境信息配置:只读操作 部署者 无 查看发布包 查看发布项列表 发布包:只有部署者和管理者可以操作 撤销发布:只有部署者和管理者可以操作 运维者 拥有生产环境的作
建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 数据模型 数据迁移时,对于不同的数据结构,迁移速度也会受到一定影响。例如: 对于表迁移,宽表的迁移速度较慢,字符串类型越多(字段大小)迁移速度越慢。 对于文件而言,总大小相同时,大文件迁移较快,多个小文件迁移较慢。 对于消息而
参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge
图3 添加成员 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改已有的成员和对应角色,也可将空间成员从工作空间中删除。 相关操作 移除空间成员:通过空间编辑进入空间信息页面后,在成员列表中勾选所需移除的成员,单击“移除”。在“移除”对话框中,如果确认要移除成员,请单击“确定”。
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为MongoDB连接或者DDS连接时,高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参
在脚本目录中选择需要移动的脚本或脚本文件夹,右键单击脚本或脚本文件夹名称,选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面,配置如表1所示的参数。 图2 移动脚本 图3 移动目录 表1 移动脚本/移动目录参数 参数 说明 选择目录 选择脚本或脚本目录要移动到的目录,父级目录默认为根目录。 单击“确定”,移动脚本/移动目录。
图3 添加成员 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改已有的成员和对应角色,也可将空间成员从工作空间中删除。 相关操作 移除空间成员:通过空间编辑进入空间信息页面后,在成员列表中勾选所需移除的成员,单击“移除”。在“移除”对话框中,如果确认要移除成员,请单击“确定”。
ame}/stop 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 instance_name 是 String 补数据实例名称。 请求参数 表2 请求Header参数 参数名
Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”
移CSV文件到表时,CDM默认是全部写入,当该参数选择“true”时,CDM会将CSV文件的第一行数据作为标题行,不写入目的端的表。 fromJobConfig.fromCompression 否 枚举 压缩格式,表示选择只传输对应压缩格式的源文件。“NONE”表示传输所有格式的文件。
数据集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本 业务能力 适用场景 免费版:基于DLI的电商BI报表数据开发流程 DLI 免费版 数据开发 对数据全生命周期管理的流程诉求较低,需要
/v1/{project_id}/scripts/{script_name}/instances/{instance_id}/stop 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 script_name
0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备
linkConfig.hadoopType 是 枚举 Hadoop类型: MRS:表示连接MRS的HDFS。 FusionInsight HD:表示连接FusionInsight HD的HDFS。 Apache Hadoop:表示连接开源Apache Hadoop的HDFS。 linkConfig
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。
数据保护技术 收集范围 为了确保您的个人数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DataArts Studio对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 用户名:用于审批,消息通知,作为用户资产的属性存在,获取委托token的key值以及国际化。
”,进入脱敏算法页面。 单击“新建”,新建脱敏算法。 图1 新建脱敏算法 新建脱敏算法参数配置请参考表2,参数配置完成单击“确定”即可。 图2 算法配置 脱敏算法参数说明表: 表2 配置脱敏算法参数说明 配置 说明 *算法名称 用户自定义算法名称,长度不能超过64个字符。 描述
新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。 图5 启动调度 在左侧导航树中,单击“任务监控”,查看采集任务是否成功。