检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何确认质量作业或对账作业已经阻塞? 可能原因 质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题:
运行历史 运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
购买DataArts Studio实例时为什么选不到指定的IAM项目? 请确认当前账户是否有开通企业项目。 企业项目和IAM项目是互斥的,开通企业项目后,只能在企业项目下购买DataArts Studio实例,且一个企业项目下只能购买一个DataArts Studio实例。 图1
DWS数据连接开启SSL时测试连接失败怎么办? 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
DataArts Studio执行调度时,报错提示“作业没有可以提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错“作业没有已提交的版本”,请先提交作业版本。 原因分析 该作业还没有提交版本,就开始执行调度,导致执行调度报错。作业执行调度前必须保证作业存在一个版本。
PHP 操作场景 使用PHP语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。
终端订阅管理 操作场景 系统支持按照责任人配置终端订阅信息(短信、邮件、电话),配置好订阅信息后,通过通知管理功能配置作业通知任务,当作业运行异常或成功时向已配置的责任人发送通知。 前提条件 已开通消息通知服务并配置主题。按照责任人配置订阅信息前,请确保已在工作空间配置了作业告警通知主题。
购买作业节点调度次数/天增量包 作业节点调度次数/天增量包用于扩充作业节点调度次数/天配额。 不同版本的DataArts Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计
配置实时处理集成作业 完成数据连接、网络、资源组的准备配置后,您可创建实时同步作业,将多种输入及输出数据源搭配组成同步链路,进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务,并在创建完成后查看任务运行情况。 前提条件 已创建数据连接,且创建的连
CloudTable OpenTSDB连接参数说明 连接CloudTable OpenTSDB时,相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link
如何手工重启阻塞的质量作业或对账作业? 可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。
数据资产入表三步走 数据资产“入表”,是推动数据资产化的第一步,也是数据要素市场发展的关键一步。国有企业、上市公司如何充分发挥海量规模数据和应用场景等优势,如何解决数据难点,如何管好用好数据资产,已成为数字化转型的关键命题。对此,国内领先的数据分析和数据治理产品与服务提供商亿信华
源端为DMS Kafka,目的端为OBS 目前支持整库场景。 整库场景 源端配置。 Kafka配置。 数据格式:源端Kafka Topic中消息内容的格式。 目前支持JSON、CSV、TEXT格式。 JSON格式:支持对消息内容以JSON的层级格式进行解析。 CSV格式:支持对消息内容以CSV格式指定分隔符进行解析。
添加审核人 在数据架构中,业务流程中的步骤都需要经过审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 添加审核人 审核人必须是当前工作空间下具有审核权限的成员,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。
源端为PostgreSQL,目的端为DWS 本章节适用于配置实时处理集成作业的PostgreSQL到DWS链路,期望将源端1个或多个PostgreSQL实例的数据实时同步到目的端为DWS数据库的场景。 整库:适用于将1个源端为PostgreSQL实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。
购买并管理专享版集群 如果您对服务的性能需求不大,可使用共享版数据服务,直接进行新建数据服务审核人,而无需单独购买专享版实例。 本小节指导您顺利购买专享版实例,实例创建完成后,才能在数据服务专享版创建API并对外提供服务。 如果需要创建、删除专享版集群或修改API配额,则需具备以下权限之一的账号才能进行操作:
字段映射界面无法显示所有列怎么处理? 问题描述 在使用CDM从HBase/CloudTable导出数据时,在字段映射界面HBase/CloudTable表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无
如何创建通知配置对全量作业都进行结果监控? 问题描述 创建通知配置如何对全量作业都进行结果监控。 解决方案 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,在“运维调度 > 作业监控”中,选择“批作业监控”页签。
配置模板 本章节主要介绍如何创建并使用Flink SQL模板。用户在编写Flink SQL业务代码时,对于重复的业务逻辑,可以直接引用sql模板,同时在配置作业运行参数的时候,可以直接使用作业参数模板,不用再进行重复配置。 约束限制 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。
设置工作空间配额 使用DataArts Studio前,您需要为当前工作空间设置工作空间配额(当前仅支持数据服务专享版API配额)。如果当前工作空间的“已使用配额”超出“已分配配额”,或者“总使用配额”超出“总分配配额”,则会导致相应业务使用受限,例如无法再新建数据服务专享版API。