检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
resources and check YARN or Spark driver's logs for further information”,如何处理? 问题描述 执行SQL语句失败后,系统提示错误信息“Failed to create ThriftService instance, please
数据连接:定义访问数据实体存储(计算)空间所需信息的集合,包括连接类型、名称和登录信息等。 解决方案:解决方案为用户提供便捷的、系统的方式管理作业,更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业,一个作业可以被多个解决方案复用。 作业:作业由一个或多个节点组成,执行作业可以完成对数据的一系列操作。
规范化的数据如何使用? 问题描述 规范化的数据使用场景需要说明下。 解决方案 规范化的数据可以作为BI的基本信息,也可以作为上层应用的源数据,也可以接入各类数据可视化报表等。 父主题: 数据架构
Spark和Apache Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。 MapReduce服务(MRS HBase) HBase是
CDM作业改名后,在数据开发中如何同步? 问题描述 CDM作业改名后,在数据开发中不能同步。 解决方案 CDM作业改名后,需要在数据开发作业的CDM节点属性中,重新选择改名后的CDM作业名称。 父主题: 数据开发
在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 问题描述 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with
是否支持同步作业到其他集群? 问题描述 CDM是否支持同步作业到其他集群? 解决方案 CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移,方法如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
作业关联的CDM集群删除后,如何快速修复? 可能原因 作业关联的CDM集群已删除。 解决方案 CDM集群被删除后,作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业,作业将使用新的同名CDM集群和作业,同时提示用户原CDM集群和作业将被替代。 限制条件: 该功能于1
如何确认质量作业或对账作业已经阻塞? 可能原因 质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题:
如何手工重启阻塞的质量作业或对账作业? 可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。
况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图10 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。 配置源端、目标端参数。 各链路源端或目的端参数配置不同,详情请参见使用教程中对应的文档进行配置。 (可选)配置DDL消息处理规则。 实时集成作业除了能够同步对数据的增删改等DML操作外,也支
如何查看CDM作业被哪些作业进行调用? 问题描述 CDM作业被哪些作业进行调用。 解决方案 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。
如何创建通知配置对全量作业都进行结果监控? 问题描述 创建通知配置如何对全量作业都进行结果监控。 解决方案 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,在“运维调度 > 作业监控”中,选择“批作业监控”页签。
作业开发时,测试运行后如何查看运行日志? 问题描述 作业开发时,测试运行后不知道如何查看运行日志。 解决方案 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
迁移到DWS时出现value too long for type character varying怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for
如何解决HANA集群只有部分节点和CDM集群网络互通? 问题描述 HANA集群只有部分节点和CDM集群网络互通,怎么办? 解决方案 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Rout
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CD