检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio实例的数据架构中已建立的主题设计信息导出到Excel文件中。导出后的文件可用于导入。关于导出主题设计的更多信息,请参见导出主题设计信息。 下载的主题导入模板参数如表3所示,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。一个主题对象需要填写一行信息。 表3
下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务,如无OBS服务,可从本地导入。 从OBS导入的作业文件,最大支持1
PostgreSQL数据源不会自动删除复制槽,当复制槽数达到上限时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的database对象所对应的流复制槽名称。 select slot_name from
设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 单击监控指标页面左上角的返回按钮,进
Hive数据连接中的用户账号需要同时满足如下条件: 需要配置至少具备Cluster资源管理权限的角色(可直接配置为默认的Manager_operator角色)。 需要配置hive用户组。 为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS集群的审计功能开关audit_enabled。
如果没有任何下载权限策略,则默认放开所有用户的导出权限。 如果存在一条或多条下载权限策略,用户的最终权限取决于多个策略中的用户权限并集。对于非授权对象的普通用户(即非DAYU Administrator、Tenant Administrator或数据安全管理员)而言,数据开发中SQL脚本执行结果的转储以及在下载
将鼠标移至流程图上的对象名称之上,页面上将显示对象的描述信息。 对于DataArts Studio已支持的对象,单击对象名称,可跳转至该对象的管理页面。 数据架构信息架构 信息架构是以结构化的方式描述在业务运作和管理决策中所需要的各类信息及其关系的一套整体组件规范。在数据架构的“信息架构”页面,可
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
o都为OBS表,数据存储在OBS中,分别用于存放原始告警表、告警统计报表。 图9 创建数据表 关键操作说明: 图9中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。如需保留该SQL脚本,请单击,将脚本保存至指定的目录中。 关键参数说明: 数据连接:1中创建的DLI数据连接。
中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用云专线虚拟网关所配置的虚拟私有云和对应配置的子网。 查看方式: 登录云专线控制台,在左侧导航栏,选择“云专线 > 虚拟网关”,在列表中找到连通其他云所使用的虚拟网关,单击虚拟网关名称,查看关联的虚拟私有云和本端子网。 图2 查看虚拟网关
参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么
Administrator、数据安全管理员或预置的工作空间管理员角色的用户)而言,数据开发中的所有脚本和作业目录将由于无权限而置灰。 如果仅选择了数据开发的脚本或作业目录,则数据服务的目录权限不受此策略影响。 数据服务(DLM) 选择需要授权的数据服务API的一级目录。 说明: 如果仅选择了数据服务的API目录,则数据开发的目录权限不受此策略影响。
脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时,该参数才显示。 OBS上存储脏数据的目录,只有在
Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 建议使用的组件版本既可以作为目的端使用,也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本,建议使用的版本: 1
table with no column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。
作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0 最大长度:4096 Content-Type 否 String 有Body体的情况下必选
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 是 String IAM Token 最小长度:0 最大长度:4096 Content-Type 否 String 有Body体的情况下必选,无Body体的情况下则无需填写和校验。
以在展开的导航树中,单击对应数据操作列中的“授权”,进行单一授权。 数据视图授权时,系统也提供了“快速模式”和“显示无权限的资源”功能。开启快速模式的情况下,库表列的元数据会从数据目录获取,否则会从数据源获取元数据。已完成元数据采集的场景下推荐开启快速模式。 值得注意的是,库、表
作业级的任务组。 “OBS”触发事件类型的参数(当前仅上海二区域支持) 说明: “OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路
l3 String 业务对象。 table_name String 数据表对象名,格式为:数据连接.库.模式表/表。 l1_score Double 主题域分组评分。 l2_score Double 主题域评分。 l3_score Double 业务对象评分。 table_score