检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
错误码 数据集成API错误码 数据开发错误码 父主题: 附录
数据开发概述 数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖
导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 图1 导出流程 导出主题 在数据架构主界面,单击左侧导航栏的“主题设计”,进入主题设计页面。 单击列表上方的“更多 > 导出”,可以直接导出所有主题。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 导
新建密级权限管控策略参数配置 创建密级权限管控策略参数配置说明: 表1 配置策略参数 参数名 参数说明 *用户类型 选择为用户或用户组进行密级权限管控。 *用户名称 选择当前实例所有工作空间成员中的用户或用户组。 *密级 选择指定用户/用户组的指定密级,则指定用户/用户组仅能访问资产密级小于等于指定密级的资产。
编辑数据连接:在数据连接页面的连接列表中,找到所需编辑的连接,然后单击“编辑”。根据需要修改连接参数,参数描述可参考表1。 编辑时如果不涉及修改密码,可不填写此项,系统会自动带入上次连接创建时的密码。 完成修改后,单击“测试”去测试数据连接是否可以正常连接,如果可以正常连接,单击“保存”。如果测试连接无法连通,
回收用户的资产权限 选择“数据表权限 > 用户权限”,单击账号后操作列的“回收”,可回收该账号所有的资产权限。 选择“数据表权限 > 用户权限”,勾选用户名前的复选框,单击左上角“回收”,支持批量回收用户资产权限。 图4 回收用户的资产权限 对用户授权 图5 授权 在资产上管理用户的权限 选择“数据表权限
配置Rest Client源端参数 表1 Rest Client作为源端时的作业参数 参数 说明 取值样例 数据请求地址 数据请求的地址。 /data/query 请求方法 请求方法,GET/POST。 GET 请求体 请求方法为POST时显示该参数。 请求体,json格式。 是
当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息,从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口,https的默认端口为443。 使用AK/SK认证时必选。
String 集群绑定的公网地址。 trafficIp String 集群的内网地址。 trafficIpv6 String 集群的内网IPv6地址。 cluster_id String 集群ID。 表5 flavor 参数 参数类型 描述 id String 节点虚拟机的规格ID。 links
创建时间。 create_user String 创建用户名称。 member_num Integer 当前工作空间成员数量。 update_time Number 更新时间。 update_user String 更新用户名称。 状态码: 400 表6 响应Body参数 参数 参数类型
配置RestApi源端参数 表1 RestApi作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据请求地址 数据请求地址。 是 /api/getUsers 请求方法 请求方法,支持GET/POST。 是 GET 请求体 请求方法为POST时显示该参数。
创建时间。 create_user String 创建用户名称。 member_num Integer 当前工作空间成员数量。 update_time Number 更新时间。 update_user String 更新用户名称。 状态码: 400 表4 响应Body参数 参数 参数类型
时,需要您到Ranger组件中手动删除此用户/用户组的队列权限策略,然后再次重试添加策略。 *访问授权(单击“添加用户”进入配置窗口) 用户名称 选择需要授权的用户/用户组。用户/用户组列表来自于工作空间中已添加的用户/用户组。 权限 submit-app:提交队列任务权限 admin-queue:管理队列任务权限
Studio管理控制台。 单击控制台的“资源管理”页签,进入资源管理页面。 在默认的离线资源管理页签,您可以查看当前实例下的所有CDM集群及其状态、内网地址、公网地址等信息。 单击CDM集群列表中集群名称列的按钮开,可查看该CDM集群的详情信息,例如可用区、虚拟私有云、子网和安全组等网络相关信息,以
计费说明 数据治理中心DataArts Studio采用基础包+增量包的计费项。为了便于您便捷的下单购买,在控制台购买界面中系统会为您计算好所购买的套餐包价格,您可一键完成整个配置的购买。 在您使用DataArts Studio的过程中,可能还会产生以下相关服务的费用,敬请知悉:
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同
Shell节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏? 审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed
连接源和目标数据库以及对应连接账号权限准备。 说明: 建议创建单独用于Migration任务连接的数据库账号,避免因为账号修改导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请尽快修改Migration任务中的连接信息,避免任务连接失败后的自动重试导致数据库账号被锁定,影响使用。 不同链路、数据库、权限