检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 分类状态。 bridge_job_log String 桥接作业日志。 profile_job_log String 配置作业日志。 classification_job_log String 分类作业日志。 状态码: 400 表5 响应Body参数 参数 参数类型 描述
已使用配额:表示当前工作空间下已使用的配额,由系统自动统计。 已分配配额:表示分配给当前工作空间可使用的配额,需要由管理员为每个工作空间分配。 总使用配额:表示当前实例下已使用的总配额,由系统自动统计。 总分配配额:表示当前实例下分配给所有工作空间可使用的总配额,由系统自动统计。 总配额:表示当前
I,都需要发布后才能对外提供服务。 前提条件 已调试成功待发布的API。 约束与限制 不支持单个或多个用户同时发布API到同一专享版集群,系统会提示“当前操作正在执行中,请稍后重试”。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
待我审核 审核人在待我审核页面,可以查看当前需要审批的对象并进行审核。系统支持批量审核。 可以通过“提交时间”进行筛选,查看所选时间段内已提交的待我审核的对象。 可以通过“对象”或“创建人”进行筛选,查看待我审核的对象。系统支持模糊搜索。 已审核 在已审核页面,可以查看当前工作空间下所有已审核对象。
超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略
Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts
关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。 用户在关系建模过程中
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts
配置组件权限策略),因此待授权用户默认具备MRS Hive库表的数据权限。如果需要去除授权用户的默认权限,则需要您在Ranger组件上去除系统默认策略中的public用户组,操作步骤如下: 使用admin账户登录MRS服务的Manager页面。 在Manager页面选择“集群 >
Executor CPU核数 用于设置作业申请的每个Executor的CPU核数,决定每个Executor并行执行Task的能力。 输入值必须在0到4之间。注意,如申请资源大于可用资源,任务可能失败。 Executor个数 用于设置作业申请的Executor的数量。输入值必须在
用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支持购买增量包,例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免
基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
推荐您在DataArts Studio控制台以增量包的形式购买,本章节以此为例进行说明。 按需计费方式购买数据集成集群 购买“按需计费”增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。
性能调优 概述 根据数据迁移模型分析,除了源端读取速度、目的端写入性能、带宽优化外,您也可以通过如下方式优化作业迁移速度: 使用大规格CDM集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求,或当前CDM集群的CPU使用率、磁盘使用率、内
功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,将字段关联数据标准后,表发布上线后,就会自动生成一个质量作业,每个关联了数据标准的字段会生成一个质量规则,基于数据标准对字段进行质量监控,您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 或者单击“从
“新建业务对象”,系统会自动显示“编码”参数,编码规则支持“自动生成”和“自定义”两种方式。 自动生成:按照配置中心的编码规则自动生成 自定义:输入自定义编码 主题设计中,不同L1层级下的业务对象支持重名。 主题层级数目由用户在配置中心的主题层级中自定义,系统默认有三个层级,从上
基线承诺时间是任务运行成功的最晚时间点。即面向数据应用,任务承诺在该时间点前完成。如果希望为运维人员预留一定的时间处理异常,用户可以为基线设置预警余量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量
(Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落地。 DWI (Data Warehouse Integration),又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 DWR (Data