检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM迁移数据到DWS时如何选取分布列? 问题描述 CDM迁移数据到DWS时如何选取分布列? 解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
Studio调度大数据服务时,需要注意的地方需要说明一下。 解决方案 DLI和MRS作为大数据服务,不具备锁管理的能力。因此如果同时对表进行读和写操作时,会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作,建议参考以下方式之一进行串行操作处理: 将读表和写表操作拆分为同一作业的不
MySQL默认开启配置tinyInt1isBit=true,会将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,将1或0读取为true或false。 解决方案 在MySQL数据连接高级属性中,连接属性新增如下参数之一即可,这样就可以在目的端正常建表。 “tinyInt1i
多个数据源、多种数据类型的原始数据,数据无需经过结构化处理,就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质,是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构:要有足够的扩展性和可靠性,可以存储海量
析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点
表实时同步到1个目标端为DWS实例的汇聚表。 支持单机/主备PostgreSQL实例类型下的全量和增量数据迁移。 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 约束限制 适用PostgreSQL 9.4+版本。 不支持源端无主键表迁移。 不支持增量
调用数据开发API报错Unknown Exception? 问题描述 调用数据开发API报错Unknown Exception。 解决方案 DataArts Studio是项目级服务,获取Token的scope要选择project级别。 父主题: 数据开发
DataArts Studio支持自定义的Python脚本吗? 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题: 数据开发
表是否可配置生命周期管理? 问题描述 表是否可配置生命周期管理。 解决方案 目前暂不支持表生命周期管理的配置。 父主题: 数据架构
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
authentication怎么办? 可能原因 执行DLI脚本,提示报错信息Invalid authentication,可能是由于权限不足引起的。 解决方案 请确认当前用户在IAM中是否具有DLI Service User或者DLI Service Admin权限。 父主题: 数据开发
是否支持批量调度作业? 问题描述 CDM是否支持批量调度作业? 解决方案 支持。 访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”,新建作业。 拖动多个CDM Job节点至画布,然后再编排作业。 父主题: 数据集成
为什么执行完HIVE任务什么结果都不显示? 可能原因 执行完HIVE任务结果不显示,可能是由于连接方式引起的。 解决方案 清理缓存数据,采用直连方式,数据就可以显示出来了。 父主题: 数据开发
执行Python脚本报错:Agent need to be updated? 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题: 数据开发
CDM是否支持动态数据实时迁移功能? 问题描述 CDM是否支持动态数据实时迁移功能? 解决方案 不支持。 如果源端在迁移过程中写数据,可能会出现报错。 父主题: 数据集成
数据开发节点运行中报TOKEN不合法? 问题描述 数据开发节点运行中报TOKEN不合法。 解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
Postman调用接口返回结果正常,为什么测试环境调用接口的URL参数不生效? 问题描述 Postman调用接口返回结果正常,测试环境调用接口的URL参数不生效。 解决方案 URL的参数连接符&需要转义。 父主题: 数据开发
创建数据连接时,在代理模式下为什么选不到需要的CDM集群? 可能原因 创建数据连接时,在代理模式下选不到需要的CDM集群,可能是由于CDM集群关机。 解决方案 请确认CDM集群是否被关机。如果关机,请重新启动。 父主题: 数据开发
数据源为Hive时支持哪些数据格式? 问题描述 云数据迁移服务,数据源为Hive时支持的数据格式有哪些? 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题: 数据集成
数据架构支持逆向数据库吗? 问题描述 数据架构是否支持逆向数据库。 解决方案 数据架构支持逆向数据库,目前支持基于数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)的数据库逆向。 父主题: 数据架构