检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lect权限。 达梦:具有该schema下select any table的权限。 DWS:需要表的schema usage权限和数据表的查询权限。 SQL Server:用户需要有sysadmin权限。 PostgreSQL:角色拥有数据库下schema下表的select权限。
选择“全部”时,将数据库中的所有的表都导入。 选择“部分”时,请选择需要导入的表。 单击“确定”开始执行逆向数据库操作。等待操作执行完成,即可在“上次逆向”中查看结果或者执行重新逆向操作。 父主题: 通用操作
进入数据服务页面。 在左侧导航选择服务版本(例如:专享版),进入总览页。 单击“运营管理 >审核中心”,选择“申请列表 > 调用”页签。 查找需要撤销的API名称,单击“撤销”。 父主题: 数据服务
导入完成后,界面会显示导入情况。如果存在导入失败的情况,请您根据系统报错原因提示,调整后重新导入。 搬迁后验证 在新空间的作业和连接导入完成后,您可以在新空间查看并验证作业和连接是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 说明: CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更
费用按“按需计费”计费,购买套餐包之后的费用按“套餐包”计费。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 数据集成CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少?
首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 节点数据血缘
连接器类型选择“MRS Hive”后单击“下一步”,配置MRS Hive连接的参数,如图2所示。 图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数,这里保持默认,必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据
实例时,需要向后找,向后查找时,只依赖最近的一个实例。 通过图表进一步进行原理解释: “先向前找上游依赖实例,依赖上游一整个区间内的实例” 解释如下: 图1 先向前找上游依赖实例,依赖上游一整个区间内的实例 “向前未找到依赖的实例时,需要向后找,向后查找时,只依赖最近的一个实例”
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
在管理员将策略配置好后,可删除此默认策略。 前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建
'2018-09-25' 单击,测试运行作业。 作业测试无问题后,单击,保存作业配置。 更多案例 EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。 父主题: EL表达式参考
校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中,便于用户查看。并支持设置脏数据比例阈值,来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest
进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作: 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时,会将组内的所有作业都删除。 创建作业的任务配置中,如果已经将作业分配到了不同的分组中,则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。
图3 新建转换器 转换器类型选择“表达式转换”,目前表达式转换支持字符串和日期类型的函数,语法和Java的字符串和时间格式函数非常相似,可以查看表达式转换了解如何编写表达式。 本例中源时间格式是“yyyy/MM/dd HH:mm:ss”,要将其转换成“yyyy-MM-dd HH:mm:ss
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 model_id 否 String 依据关系建模的模型ID查询统计信息,ID字符串。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM
据安全”模块,进入数据安全页面。 单击左侧导航树中的“回收站”,进入回收站页面。 图1 进入回收站页面 在回收站页面,您可以通过切换页签,查看并还原已删除的权限集(包含空间权限集、权限集以及通用角色)或动态脱敏策略数据。 不同数据还原时的操作基本一致,后续步骤以还原权限集数据为例,为您介绍如何还原数据。
调度周期。调度周期配置为小时,系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据开发中的对象 数据连
重复上述步骤创建其它迁移目录的作业,参数配置都相同。2个CDM集群的作业个数平均分配,并发执行。 作业执行完成后,可在作业的“历史记录”中查看详细的数据统计。 父主题: 车联网大数据零丢失搬迁入湖