检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代理集群可选多个,其中只要有一个集群可以正常连接即可。如果有多个集群可正常连接,则数据开发后台会随机选择一个用于连接。 URL地址 是 填写请求主机的IP或域名地址,以及端口号。例如:https://192.160.10.10:8080 HTTP方法 是 选择请求的类型: GET POST
不建议直接抢锁处于他人锁定状态的脚本/作业,这会导致他人的修改丢失。如果您有修改需求,请先联系锁定人将脚本/作业解锁,然后再抢锁。 图1 锁定状态转换图 前提条件 已完成脚本开发任务。 解锁脚本 提交脚本会将当前开发态的最新脚本保存并提交为版本,并覆盖之前的脚本版本。为了便于后续其他开发
Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 可能原因 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。
不会同步FI Manager上的用户/用户组/角色,因此需要切换用户同步策略。操作步骤如下所示: MRS安全集群Ranger组件默认同步LDAP用户,默认情况下无需额外操作。如果默认配置被修改,也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。
Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。 约束限制 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。
不建议直接抢锁处于他人锁定状态的脚本/作业,这会导致他人的修改丢失。如果您有修改需求,请先联系锁定人将脚本/作业解锁,然后再抢锁。 图1 锁定状态转换图 前提条件 已完成作业开发任务。 解锁作业 “提交”会将当前开发态的最新作业保存并提交为版本,并覆盖之前的作业版本。为了便于后续其他开发
请检查RDS实例安全组, 打开RDS实例页面,进入RDS实例基本信息、找到连接信息部分,单击安全组,跳转到安全组页面,选择“入方向规则”页签,搜索源地址是否有资源组网段。 MRS HUDI 请检查“管理中心 > 数据连接”,MRS HUDI数据连接是否配置正确。 请检查“DataArts实例控制台
取水印失败。 尽量选取数据取值比较多样的列嵌入水印,如果该列的值是可枚举穷尽的,则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件
支持五天无理由退订。 实例购买/试用成功后,无法转移到另一个区域/可用区。 区域和终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 父主题: 咨询与计费
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
敏感数据发现任务运行后,为使该识别规则在静态脱敏任务中生效,必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”,使规则状态变更为“有效”。 前提条件 已完成敏感数据规则组定义,请参考定义识别规则分组。 已在管理中心创建数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS
查看敏感数据发现结果:敏感数据识别任务完成后,需要查看任务的运行结果。 手工修正:发现敏感数据后,您必须根据具体情况进行手工修正,通过对任务中的识别规则进行“确认”,使规则状态变更为“有效”,才能使该识别规则在静态脱敏任务中生效。 如果在敏感数据发现任务中勾选了“手动同步数据识别结果”,则还需要手动单击“数据同步”,
transType 否 Boolean true:源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据,会转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。如果这几种类型中,有合并做rowkey的,就依然当字符串写入。 该功能
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
查询目的表和字段(待下线)。 21600 240 导出模型中表的DDL语句 根据模型ID导出指定表的DDL语句。 10 4 转换逻辑模型为物理模型 转换逻辑模型为物理模型,转换成功则显示转换后的目标模型信息。 10800 120 获取操作结果 获取批量操作的结果,如逻辑模型转物理模型和逆向数据库操作。
能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 OBS终端节点 是 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
迁移。 事务模式迁移 支持当迁移作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,数据集成支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD
CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群?