检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
随着业务的不断发展,您可能进行了更细致的工作空间划分。这种情况下,您可以参考本文档,将原有工作空间的数据(包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本、数据开发作业、数据质量作业等),搬迁到新建的工作空间中。 操作前准备 已创建新的工作空间,新建工作空间的用户需要具备DAYU
Studio数据目录模块中,您可以查看数据地图,详情请参见数据目录章节。数据地图包含业务资产和技术资产,业务资产就是指逻辑实体和业务对象,技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如,在技术资产的事实表中,您可以查看数据血缘等详细
为了管控存算分离MRS Hive数据源的创建数据库流程,数据安全支持通过申请审批的流程在数据源上创建数据库。 在新版本模式下仅当使用企业版时,才支持建库申请和建库审批。旧版本模式使用基础版及更高版本时即可支持。 本章主要介绍管理员如何配置数据库路径,申请者如何申请创建数据库,以及审批者如何审批建库申请。
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body
参考购买数据集成资源组增量包。 参考实时集成资源组关联工作空间。 数据库准备 连接源和目标数据库以及对应连接账号权限准备。 说明: 建议创建单独用于Migration任务连接的数据库账号,避免因为账号修改导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请尽快修改Migration任务中的连
// 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。
脚本方式:仅支持普通SQL语法。 MyBatis方式:仅专享版数据服务支持此方式,此方式下脚本支持Mybatis标签语法。Mybatis方式下参数解析格式为#{parameter},支持if、choose、when、foreach和where等标签语法,您可以借助标签语法来灵活实现空值
ts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订。本例中使用按需计费,完成后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body
选择性配置示例值和描述。 配置好API基本信息后,单击“下一步”,即可进入API取数逻辑页面。 配置API参数 配置API基本信息后,即可配置API参数。这里将配置API的后端服务和请求参数。 表2 API参数配置说明 配置 说明 协议 用于传输请求的协议,支持HTTP和HTTPS协议。
值得注意的是,下载权限策略为DataArts Studio实例级别配置,各工作空间之间数据互通。 在新版本模式下仅当使用企业版时,才支持配置下载权限。旧版本模式使用基础版及更高版本时即可支持。 前提条件 仅DAYU Administrator、Tenant Administrator或数
SQLServer同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 SQLServer数据库(企业版2016、2017、2019、2022版本,标准版2016 SP2及以上版本、2017、2019、2022版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body
息发送给外部接口所对接的第三方平台通知接口,供第三方平台分发消息。详见配置权限到期提醒。 在新版本模式下仅当使用企业版时,才支持外部接口功能,旧版本模式使用基础版及更高版本时即可支持。外部接口功能当前在北京四、上海一内测(其他region后续会逐步放开,敬请期待!),但需申请白名
Key和AppSecret等信息,具体参见认证前准备。 获取并安装Visual Studio,如果未安装,请至Visual Studio官方网站下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。
在待发布任务界面,会展示因提交版本而生成的待发布任务。您可以通过“查看”操作,查看当前任务相比上一版本的修改点,确认修改无误后,请通过“发布”操作,将任务进行发布。 支持通过“任务名称”和“提交人”进行发布项筛选。同时可以使用任务名称进行模糊查询。 如果您只具备开发者权限,则需通过“
已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: 2.9.2及以后的CDM版本才支持MRS
配置条件分支算子 在API目录找到供应商信息SupplierInformation API和销售评级SalesRating API并拖拽到画布,挂载到并行处理算子下。其中供应商信息SupplierInformation和销售评级SalesRating两个普通API的节点编码分别为NormalAp