检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service,简称RDS)作为作为数据源,进行数据集成、开发与开放。 云数据迁移服务 DataArts Studio需要通过Agent来访问租户资源或服务,需要依赖云数据迁移服务(Cloud Data Migration,简称CDM)。其中云数据迁移与数据集成为同一服务的两种形态,云数
String DLI作业运行资源类型,可选 1. OBS路径: OBS 2. DLI程序包: DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时,主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs
(可选)管理脚本 复制脚本 复制名称与重命名脚本 移动脚本/脚本目录 导出导入脚本 查看脚本引用 删除脚本 解锁脚本 转移脚本责任人 批量解锁 父主题: 脚本开发
企业大数据相关部门的组织和关系调查 本示例不涉及 用于合理规划工作空间,降低空间相互依赖的复杂度 各组织部门之间对数据、资源的访问控制 本示例不涉及 涉及到用户的权限和资源权限控制 2 数据集成 有哪些数据源要迁移,数据源版本 CSV格式的数据,存储于OBS桶 - 每种数据源的数据全量数据规模
CDM要访问本地数据源,也必须给CDM集群配置EIP。 一般云服务DWS默认也是只允许VPC内部访问,创建CDM集群时,必须将CDM的VPC与DWS配置一致,且推荐在同一个内网和安全组,如果不同,还需要配置允许两个安全组之间的数据访问。 端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。
用和流量费用,收费标准请参见APIG价格详情。 在场景开发完成后,如果您不再使用DataArts Studio及相关服务,请及时进行退订和资源删除,避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明
仅安全管理员和DAYU Administrator系统角色有权限进行如下操作: 配置空间权限集 配置行级权限访问控制 同步用户 配置空间资源权限 配置细粒度认证 配置队列权限 如需配置安全管理员,则需要以具有DAYU Administrator系统角色权限的账号登录数据安全总览
String DLI作业运行资源类型,可选 1. OBS路径: OBS 2. DLI程序包: DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时,主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs
Long 计划时间。 remind_type 否 Integer 告警通知类型,取值范围如下: 0:运行成功 1:运行异常/失败 3:未完成 4:资源繁忙 12:周期未完成 13:运行取消 14:失败作业重跑成功 15:作业改动 send_status 否 Integer 发送状态,取值范围如下:
技术支持人员。 基础与网络连通配置 项目ID 是 适用组件勾选数据集成后,呈现此参数。 DLI服务所在区域的项目ID。 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。
据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。
委托:由于云各服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给这些服务,让这些服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 委托可以分为: 公共委托:工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 作业委托:适用于
”、或分隔符“|”。 相关操作 编辑样本库分类:在样本库管理页面,单击目录上的,然后在光标移动到待编辑的分类上,单击后,编辑分类名。 删除样本库分类:在样本库管理页面,单击目录上的,然后在光标移动到待编辑的分类上,单击后,删除分类。 如果样本库分类下还存在样本,则不允许被删除。另外,“全部”根节点分类也不允许删除。
在有多个指标的情况下,可以通过操作列调整指标的排序。单击图标可进行指标的上移或者下移,双击图标可以输入序号将当前行移动到指定位置。 图10 调整指标排序 图11 移动到指定位置 删除指标 如果需要删除自定义指标,单击操作列的图标就可删除该指标。 图12 删除指标 完成自定义指标的
Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍,请参见IAM产品介绍。 DataArts Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts
如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。 建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 数据模型 数据迁移时,对于不同的数据结构,迁移速度也会受到一定影响。例如: 对于表迁移,宽表的迁移速度较慢,字符串类型越多(字段大小)迁移速度越慢。
如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。 建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景,调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数,同时也可以设置集群最大抽取并发数。
String DLI作业运行资源类型,可选 1. OBS路径: OBS 2. DLI程序包: DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时,主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs
文件到OBS。 文件格式:选择“二进制格式”。这里的文件格式是指CDM传输数据时所用的格式,不会改变原始文件自身的格式。迁移文件到文件时,推荐使用“二进制格式”,传输的效率和性能都最优。 目的端作业配置: 目的连接名称:选择7创建的OBS连接“obslink”。 桶名、写入目录:
信息。 type为其他类型的时候,需要通过JDBC方式连上集群,查询数据库信息。默认值为空。 queueName 否 String DLI资源队列名称,当type参数值为DLISQL时,才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。 configuration 否