检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落地。 DWI (Data Warehouse Integration),又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 DWR (Data
Studio上任务开发与运维流程。详情请参见企业模式业务流程。 生产数据权限管控差异 开发人员可直接使用生产数据进行测试,无法保障生产数据安全。 开发人员在开发环境可使用测试数据进行测试,生产环境数据可读。 不同模式工作空间的优劣势对比 表3 不同模式工作空间的优劣势对比 对比 简单模式 企业模式
使用前自检概览 当您在使用Migration服务创建实时同步任务前,需要预先检查是否做好了准备工作,以满足实时同步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 为云账号及权限准备 准备华为账号,创建用户并授权使用Migration。 参考注册华为账号并开通华为云。
Spark节点的主类,本例的主类是“org.apache.spark.examples.SparkPi”。 Spark程序资源包:3中创建的资源。 作业编排完成后,单击,测试运行作业。 图4 作业日志(仅参考) 如果日志运行正常,保存作业并提交版本。 父主题: 使用教程
jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。 参考 为什么在创建数据连接的界面上MRS Hive集群不显示? 出现该问题的可能原因有:
OBS测试路径 “OBS支持”设置为“是”时,呈现此参数。 请填写完整的文件路径,将调用元数据查询接口来校验路径的访问权限。 说明: 如果是对象存储,路径需要填写到对象级别,否则会报错404,例如:“obs://bucket/dir/test.txt”。 如果是并行文件系统,则可
认证方式API或通过白名单授权IAM认证方式API),则无需再进行本章的相关操作。 约束与限制 对于数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除,因此共享版IAM认证方式的API无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。
current[0]}、#{Loop.current[1]}。 图7 配置For Each节点 配置完成后保存作业。 测试运行主作业。 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进
获取SDK包 在数据服务页面,单击左侧导航栏的“SDK”,然后下载Java SDK。 图3 下载SDK 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创建实时集成作业,选择对应数据连接和资源组进行连通性测试,详情请参考创建实时集成作业。 通过云专线连通网络 通过VPN连通网络 通过公网连通网络
及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。 通过购买一个套餐包方式的数据集成资源组增量包,系统不自动创建新的资源组,而是在生效期内的每个计费月内按月提供745小时/月的使用时长,在绑定区域为在DataArts
响应Body参数 参数 参数类型 描述 total Integer 总数。 apps Array of AppReturnDTO objects 应用列表。 表5 AppReturnDTO 参数 参数类型 描述 id String 应用ID编号。 name String 应用名称。 description
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 表3 请求Body参数 参数 是否必选 参数类型 描述 architecture_guid 否 String 指标资产ID。 query 是 String 查询条件,search_name_description为t
{ "id" : 0, "model_id" : "1255482244563357696", "name_ch" : "测试维度", "name_en" : "dim_test_dimension", "alias" : "", "owner" : "test_user"
使用本地API 否 开关开启时,使用本地API加速。 开关关闭时,不使用本地API加速。 使用数据库本地API加速。(系统会尝试启用MySQL数据库的local_infile系统变量) 单次请求行数 否 指定单次请求获取的行数。默认1000。 单次提交行数 否 指定单次批量提交的行数。默认10000。
current[0]}、#{Loop.current[1]}。 图7 配置For Each节点 配置完成后保存作业。 测试运行主作业。 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进
转到任务发布页面。 支持对“已提交”和“未提交”的脚本进行筛选。未提交的脚本通过红色进行标识。 系统支持脚本参数以弹框的形式进行展示,参数名不能修改,参数值可以修改。你可以单击“测试参数”查看脚本中所引用的参数信息,同时可以查看环境中已配置的环境变量信息,不可修改,SQL语句中的参数可以按照参数名进行排序。
FusionInsight Manager,选择“系统 > 权限 > 角色”查看),继承已有角色的MRS数据源权限。 本章主要描述如何配置通用角色,配置纳管角色以及相关操作。 前提条件 配置角色前,已完成空间权限集的配置,请参考配置空间权限集。 MRS和DWS角色同步时,系统通过管理中心组件数据连接中的
IAM认证方式的API只能授权给IAM类型的应用。 如果对无认证方式的API进行应用授权,则系统会忽略此操作。 IAM类型的应用每个DataArts Studio实例下仅能创建一个,名称固定为华为账号,且不支持修改。 对于数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除,因此共享版I