检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义工作空间角色精细化授权IAM用户,可参考如何授权其他用户使用DataArts Studio。 约束与限制 由于鉴权缓存机制的限制,自定义角色的权限发生变更后,绑定该角色的工作空间成员权限不会直接生效。需要绑定该角色的工作空间成员暂停访问DataArts
> 审核中心”,选择“待审核”页签。 在待审核任务列表,可通过对应任务操作列的“审核”、或单击API名称进入API信息页面,逐一审核任务;也可以勾选多个审核任务后通列表上方的“批量审核”,统一审核任务。审核后申请立即生效。 图2 审核按钮 撤销API申请 数据服务平台提供撤销待审核申请的功能,您可在“审核中心
义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 单作业的抽取并发数取值范围为1-300,集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,作业的抽取并发数建议不超过集群的总抽取并发数,过高的并发数可能导致内存溢出,请谨慎修改。
项目列表中查看项目和项目ID。 值得注意的是,动态水印策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 已创建MRS Hive连接或MRS Spark连接。 约束与限制 仅DAYU Administrator、Tenant Ad
由以点分割的字符串组成,单个字符串不超过63个字符。 支持字母、数字以及中划线,中划线不能出现在域名的开头或末尾。 域名总长度不超过254个字符。 绑定公网域名:公网域名是在Internet中使用公网解析的域名。绑定公网域名,可以将公网域名与外网地址相关联,然后在Internet中通过公网域名进行API调用。在集群页面单击“更多
参数名称 说明 选项名称 自定义指标名称。不超过100字符。 选项名称(英文) 自定义指标英文名称。不超过100字符。 可选值 设置自定义指标在创建业务指标时的可选值。 是否必填 设置自定义指标在创建业务指标时是否为必填项 描述 自定义指标的描述。不超过200字符。 调整指标排序 在有
在调用数据目录或数据地图接口时,部分URI中需要填入guid。 资产guid可通过相应查询接口获取,也可以通过控制台获取,推荐您通过相应查询接口获取。 控制台获取操作相对复杂,如下所示,为您介绍如何通过控制台获取guid资产: 在DataArts Studio控制台首页,选择实例
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作
在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。 通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控
AM认证方式的API,则需要自行申请API授权,等待审批通过后才能进行API调用。 如果API开发者已完成授权APP或IAM认证方式的API给应用(详见通过应用授权APP认证方式API、通过应用授权IAM认证方式API或通过白名单授权IAM认证方式API),则无需再进行本章的相关操作。
如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源,可以通过数据库管理员获取相应的访问地址。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成
运维概览”页面,用户可以通过图表的形式查看作业实例的统计数据,目前支持查看以下七种统计数据。 运行状态 通过时间和责任人可以筛选出今天的我的或者全部责任人的作业实例调度运行状态概览 通过时间和责任人可以筛选出昨天的我的或者全部责任人的作业实例调度运行状态概览 通过时间和责任人可以筛选
DataArts Studio云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。
queue.size无法有效限制内存占用时,考虑显式设置该值来限制缓存数据的大小。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图2 添加高级属性 表3 DWS写入优化参数 参数名 类型 默认值
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace
、快速地通过数据API获取到开放数据。 数据服务SDK使用场景 数据API是否必须通过数据服务SDK代码才能调用,与数据API的认证方式有关。只有当通过数据服务创建数据API使用推荐的APP认证方式时,才能通过SDK方式进行数据API调用;当使用其他认证方式时,可以通过API调用工具或浏览器调用。
用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。 操作流程如下: 创建DLI集群,通过DLI集群的物理资源来运行Spark作业。 获取Spark作
由于数据源只会同步自身租户的用户信息,因此对于通过IP连接等方式非当前租户的数据源集群无法同步。 当前用户同步仅支持MRS Hive和DWS数据源,DWS数据源必须进行用户同步,MRS数据源可以按自身需要创建IAM对应的MRS同名用户从而不进行用户同步。由于DLI数据源直接通过IAM用户进行鉴权,因此无需进行用户同步。