检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/obs-log-dump 表1 路径参数 参数 是否必选
资产血缘(邀测) 功能介绍 资产血缘接口,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/datamap/lineage/guid/{guid} 表1 路径参数 参数 是否必选 参数类型 描述
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一:通过MRS Spark Python作业实现统计单词的个数 前提条件: 开发者具有OBS相关路径的访问权限。 数据准备: 准备脚本文件"wordcount
区域和可用区如何选择? 数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系? DataArts Studio和沃土是什么关系? DataArts Studio和ROMA有什么差异? DataArts Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略?
查询数据服务集群访问日志列表 功能介绍 查询数据服务集群访问日志列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/{instance_id}/accesslog 表1 路径参数 参数 是否必选 参数类型
further information”,如何处理? 使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? DataArts Studio调度CDM任务时报错Given
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
获取主题树信息 功能介绍 获取数据资产主题树信息l1,l2,l3。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/subjects/business 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 网络打通 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
配置下载权限(高级特性) 本章介绍如何通过下载权限策略,基于用户或用户组,对数据开发中SQL脚本执行结果的转储以及在下载中心下载操作进行权限控制。 DataArts Studio实例中默认具备命名为“SYSTEM_GENERATE_DEFAULT_DATA_DOWNLOAD_PO
admin 密码 CSS集群开启安全认证模式时显示此参数。该参数表示连接云搜索服务的密码。 - https访问 CSS集群开启安全认证模式时显示此参数。该参数表示开启https访问,https访问相较于http访问更安全。 是 父主题: 配置连接参数
Studio实例安全组,详情请参见如何配置安全组规则章节。 您需要在云数据库RDS服务控制台,创建一个MySQL数据库实例,用于模拟原始数据源。建议创建MySQL数据库时,相关网络参数与DataArts Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致,默认内网互通,否则还需
D,在项目列表中查看项目和项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取,接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可参考IAM文档获取。 接口的认证鉴权请参见认证鉴权。
获取申请详情 功能介绍 获取申请详情。此功能仅用作信息详情展示,不用做业务处理,因此不展示编号等后台参数。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/applys/{apply_id} 表1 路径参数 参数 是否必选 参数类型
可以将简单模式工作空间升级为企业模式工作空间,如果您之前未使用过简单模式、无需继承业务数据,则可以直接新建新企业模式工作空间,本文为您介绍如何创建工作空间模式。 使用限制 只有DAYU Administrator、Tenant Administrator可升级企业模式或创建企业模式。
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
配置资源权限 本章主要介绍如何通过资源权限创建权限策略到Ranger组件,实现MRS资源权限控制,从而降低企业数据信息安全风险。 当前支持创建的权限策略如下: 创建HDFS权限策略 创建Hive访问权限策略 创建Hive脱敏权限策略 创建Hive行级过滤器权限策略 创建HBase权限策略
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
URL导出数据,不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 https://bucket