检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。 本示例涉及的数据表如下所示: trade_log:记录每一笔交易数据。
服务目录管理接口 获取当前目录下的所有类型列表 获取当前目录下的API列表 获取当前目录下的目录列表(全量) 更新服务目录 查询服务目录 创建服务目录 批量删除目录 移动当前目录至新目录 批量移动API至新目录 通过路径获取ID 通过ID获取路径 通过目录ID获取路径对象 查询服务目录API列表
参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value DimensionVO object value,统一的返回结果的外层数据结构。 表6 DimensionVO 参数 参数类型 描述 id
当前IAM用户需要加入拥有DataArts Studio的系统角色(如“DAYU Administrator”或“DAYU User”)的用户组,详情请参见创建IAM用户并授予DataArts Studio权限。 当前IAM用户需要配置DataArts Studio工作空间的角色成员,且该空间角色成员需要
最新动态 本文介绍了DataArts Studio各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。
在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM服务外的任一服务,若提示权限不足,表示“CDM
performed.”,可能是权限不足引起的。 解决方案 则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略(查询指定条件下的委托列表),再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。
结合DataArts Studio服务的能力进行业务流程设计。 需求分析。分析业务情况,明确业务诉求,并提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。 业务调研。明确DataArts Studio服务的能力边界,并分析后续的业务负载情况。 流程设计。以实际业务情况结合DataArts
String 登录DLI数据库的AK。 linkConfig.sk 是 String 登录DLI数据库的SK。 linkConfig.region 是 String DLI服务所在的区域。 linkConfig.projectId 是 String DLI服务的项目ID。 父主题: 连接参数说明
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID,ID字符串。 biz_catalog_id String 归属的业务分类的id,ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
获取当前目录下所有类型列表(包括API和目录,均以目录的数据格式形式展示)。 2400 120 获取当前目录下的API列表 获取当前目录下的API列表。 2400 120 获取当前目录下的目录列表(全量) 获取当前目录下的目录列表(全量数据,不分页,推荐仅用于生成目录树等无法分页的场景)。 2400 120
总览接口 查询统计用户相关的总览开发指标 查询统计用户相关的总览调用指标 查询API服务调用TopN 查询APP服务使用TopN 查询API统计数据详情 查询APP统计数据详情 查询API仪表板数据详情 查询指定API仪表板数据详情 查询APP仪表板数据详情 查询指定API应用调用TopN
属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名 stand_row_id String 关联的数据标准的ID,ID字符串。 stand_row_name String 关联的数据标准名称,只读。
用户、用户组、策略类型、策略状态来搜索相关策略的功能。您只需单击权限报告页面右上角的“高级搜索”即可弹出搜索框。 图1 高级搜索 策略状态过滤: 在服务的策略列表中,策略状态栏提供了过滤功能,您可以单击策略状态栏的来过滤所需要查看的策略。 图2 策略状态过滤 父主题: Ranger权限访问控制
单击监控指标页面左上角的返回按钮,进入云监控服务的界面,选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1 “云数据迁移服务”服务监控项 根据界面提示设置CDM集群的告警规则。 设置完成后,单击“确定”。当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南。 父主题:
Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍,请参见IAM产品介绍。 DataArts Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts
CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。 不支持非分区表分片。
endpoint 是 String 待连接DIS的URL,URL格式为https://Endpoint。 linkConfig.ak 是 String DIS服务端的AK。 linkConfig.sk 是 String DIS服务端的SK。 linkConfig.projectId
企业数字化转型面临的挑战 企业在进行数据管理时,通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。 缺乏数据的质量管控和评估手段,数据不可信。
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID,ID字符串。 biz_catalog_id String 归属的业务分类的id,ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。