检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资产详情 本文以查看技术资产中的数据表详情为例进行说明。 在技术资产搜索结果列表,单击任意数据表,进入数据表详情页面。 在“详情”页签,可查看技术元数据基本属性、编辑描述;可给数据表添加标签和密级;可给数据表的列和OBS对象添加或删除分类、标签和密级。 图1 查看详情 在“权限”
详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 父主题: 查看工作空间数据地图
该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1,表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”
符串中字段的值。 图1 表达式示例 EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。 调试方法介绍 下面介绍几种EL表达式的调试方法,能够在调试过程中方便地看到替换结果。 后文以#{DateUtil.now()}表达式为例进行介绍。 使用DIS
*子对父 子表对父表的映射关系,可以有以下四种取值: 1:表示每条子表数据在父表中有且只有一条数据与之对应。 0,1:表示每条子表数据在父表中最多有一条数据与之对应。 0..n:表示每条子表数据在父表中可能有多条数据与之对应。 1..n:表示每条子表数据在父表中至少有一条数据与之对应。
实时处理作业中执行DWS相关语句,可以使用参数变量为用户的数据仓库进行增量导入,分区处理等操作。 参数 用户可参考表1,表2和表3配置DWS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句
“Booting”表示正在分析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息,包括历史执行记录、读取和写入的统计数据,在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面,选择“更多 > 日志”来查看该作业最近的一次日志。
引用码表 选择已创建的码表并选择相应的“码表字段”,这样就可以将码表字段和数据标准相关联。如果未创建码表,请参见新建码表进行创建。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,当引用码表的数据标准被关系建模的业务表关联后,如果表发布成功,系统将会在DataArts
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 数据集成(CDM作业)
10,100)。 当表为空,即总行数为0时,正向规则评分固定为满分,反向评分固定为0分。 表 表评分计算公式:∑(表关联的所有规则评分*规则权重)/∑规则权重 业务对象 业务对象下所有表评分的加权求平均值,即:∑业务对象下所有表评分/表的数量。 主题域 主题域下所有业务对象评分的
规则类型选择“自定义”,呈现此参数,支持正则表达式。 当选择“无”,表示关联了该规则的敏感数据发现任务不生效。无法自动为数据资产分类,需要您手动添加分类。 *正则表达式 识别规则选择“正则表达式”时,呈现此参数。 内容识别:勾选此项后输入自定义正则表达式,该表达式将用于数据内容识别。内容识别正则表达式举例:“^男$|^女&”。
存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。 扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不
使用SQL语句:否。 模式或表空间:待抽取数据的模式或表空间名称。 表名:要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据的桶。 写入目录:写入数据到OBS服务器的目录。 文件格式:迁移数据表到文件时,文件格式选择“CSV格式”。
在“信息架构”列表右上方,单击“高级搜索”,设置表名、类型、数据源等筛选条件,然后单击“搜索”可以查找指定的表,单击“表名称”,可以进入表的详情页面,查看表的详细信息。 新建 单击“新建”,可以新建逻辑实体、物理表、维度、事实表和汇总表。创建的过程可以参见逻辑模型、关系建模、新建维度、新建事实表、数据集市。 同步
DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表? 问题原因 可能是权限不足。 解决方案 DWS数据连接的用户没有该表的查看与编辑权限,实际上该表已经存在。 父主题: 数据开发
单击“下一步”,在“配置表结构”页面配置如表2所示的参数。 表2 表结构 数据连接类型 参数说明 DLI 请见表5的“表结构”部分 DWS 请见表6的“表结构”部分 MRS Hive 请见表7的“表结构”部分 单击“保存”,新建数据表。 新建数据表(DDL模式) 参考访问DataArts
Hive中创建数据表。 您可以在DataArts Studio数据开发模块中,可视化方式创建数据表,具体操作请参见新建数据表章节。 您可以通过在DataArts Studio数据开发模块或MRS客户端上,开发并执行用于创建数据表的SQL脚本,从而创建数据表。在DataArts
获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM
根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式,通过EL表达式,根据具体的场景选择不同的EL表达式来达到目的。您可以参考本教程,根据您的实际业务需要,开发您自己的作业。 EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 按名称或编码模糊查询。 name_ch 否 String 按名称精确查询。 name_en 否 String 按编码精确查询。 create_by 否 String 按创建者查询。 approver