检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 数据模型 数据迁移时,对于不同的数据结构,迁移速度也会受到一定影响。例如: 对于表迁移,宽表的迁移速度较慢,字符串类型越多(字段大小)迁移速度越慢。 对于文件而言,总大小相同时,大文件迁移较快,多个小文件迁移较慢。 对于消息而
据进行移动,实现不停服数据迁移,快速构建所需的数据架构。 图1 数据集成定位 产品功能 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTabl
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
查询多种类型的表信息 功能介绍 从信息架构中查询多种类型的表信息,包括逻辑实体、物理表、维度表、事实表、汇总表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/all-tables 表1 路径参数 参数 是否必选 参数类型 描述
获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称, 获取方法请参见获取数据源中的表。 user_groups 否 String 用户组列表,用户组名称逗号分隔(非必
数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称, 获取方法请参见获取数据源中的表。 user_groups 否 String 用户组列表,用户组名称逗号分隔(非必
查询规则组列表 功能介绍 查询规则组列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/data-classification/rule/group 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
中设置自定义的字段。会影响业务表、维度(维度表)、事实表和汇总表等。 属性自定义项。在新建、编辑表字段时,可以在表字段中设置自定义的属性。会影响业务表、维度(维度表)、事实表和汇总表等。 字段类型 当您执行新建表、逆向数据库或模型转换等操作时,如果系统默认的数据类型或不同数据源之
事实表接口 查找事实表 删除事实表 查看事实表详情 查看逆向事实表任务 父主题: 数据架构API
查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业,触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。
BYTES_WRITTEN:表示写入的字节数。 BYTES_READ:表示读取的字节数。 TOTAL_FILES:表示总文件数。 FILES_WRITTEN:表示写入的文件数。 FILES_READ:表示读取的文件数。 ROWS_WRITTEN:表示写入成功的行数。 ROWS_READ:表示读取成功的行数。
增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题: 数据集成(CDM作业)
识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字,帮助用户对资产进行分类和描述,以便于检索。 “分类”是指按照种类、等级或性质分别归类。分类是自上而下的,通过对事物进行分析,按照一定的标准,划分出不同的类别。 二者主要区别如下: 表1 标签和分类区别
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。
CONDITION_TYPE_LE:小于等于 CONDITION_TYPE_LIKE:模糊查询如:%like% CONDITION_TYPE_LIKE_L:模糊查询如:%like CONDITION_TYPE_LIKE_R:模糊查询如:like% 表8 ApiResponsePara 参数 是否必选 参数类型
表关联作业算子列表(邀测) 功能介绍 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/table/{guid}/node 表1 路径参数 参数 是否必选
查看作业日志,但是日志中没有内容? 问题描述 查看作业日志,日志中没有内容。 原因分析 已在工作空间中配置作业日志的桶目录的前提下,确认用户在IAM中的OBS权限是否具有对象存储服务(OBS)的全局权限,保证用户能够创建桶和操作桶。 解决方案 方式1:用户在对象存储OBS中创建以
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群