检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图数据自动化构建与分析场景介绍 图引擎服务(Graph Engine Service,简称GES)是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务,并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts S
ertex_user_rds2obs”。 edge_friends_rds2hive(CDM Job节点):在节点属性中,选择创建数据集成作业中的CDM集群,并关联CDM作业“edge_friends_rds2hive”。 edge_friends_rds2obs(CDM Job
DataArts Studio支持自定义的Python脚本吗? 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题: 数据开发
执行DWS SQL脚本时,提示id不存在,如何处理? 可能原因 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 解决方案 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID";
Python脚本支持参数传递功能。 SQL脚本支持在脚本编辑器中直接输入参数(Flink SQL不支持),脚本独立执行时可通过编辑器下方配置,如图5所示。 图5 独立执行时的脚本参数 开发一个脚本。开发脚本时,脚本表达式里面必须包含变量(例如,SQL中变量是DATE,脚本中就写${
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 右键单击脚本,选择“新建Flink SQL脚本”进入。 单击右侧的“模板”,选择刚才创建好的脚本模板,例如412_mobna,系统支持可以引用多个模板。 图1 引用脚本模板 脚本创建完成后,单击“保存”,脚本412_test创建完成。 在pipeline作业开发中,MRS
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本开发导航栏,选择,右键单击数据连接名称,选择“新建数据库”,配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称,命名要求如下: DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
ython脚本,系统自动默认显示Python版本,例如Python3。如果脚本未创建,请参考新建脚本和开发Python脚本先创建和开发脚本。 说明: 若选择Python语句方式,数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式,系统自动默认显
Studio通过API把脚本提交给MRS,然后查询是否执行完成;而MRS不会将具体的错误原因反馈到DataArts Studio,因此导致数据开发脚本执行界面只能显示执行成功还是失败。 “通过代理连接”模式下DataArts Studio提交脚本并运行,查看脚本是否执行完成,同时在数
源端为MySQL,目的端为DWS 本章节适用于配置实时处理集成作业的Mysql到DWS链路,期望将源端1个或多个Mysql实例的数据实时同步到目的端为DWS数据库的场景。 整库:适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。 分库分表
执行Python脚本报错:Agent need to be updated? 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题: 数据开发
执行DLI脚本,报Invalid authentication怎么办? 可能原因 执行DLI脚本,提示报错信息Invalid authentication,可能是由于权限不足引起的。 解决方案 请确认当前用户在IAM中是否具有DLI Service User或者DLI Service
图2 作业参数 脚本参数支持如下使用方式,脚本参数的作用范围为当前脚本。 SQL脚本支持在脚本编辑器中直接输入参数(Flink SQL不支持),脚本独立执行时可通过编辑器下方配置,如图3所示;通过作业调度时可通过节点属性赋值,如图4所示。 Shell脚本可以配置参数和交互式参数以实现参数传递功能。
源端为MySQL,目的端为DMS Kafka 本章节适用于配置实时处理集成作业MySQL到DMS Kafka链路,期望将源端1个或多个Mysql实例的数据实时同步到目的端为DMS Kafka数据库的场景。 同步场景 整库:适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DMS
RDS数据连接参数说明 RDS数据连接支持连接MySQL、PostgreSQL、SQL Server等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
源端为MySQL,目的端为MRS Hudi 本章节适用于配置实时处理集成作业MySQL到MRS Hudi链路,期望将源端1个或多个MySQL实例的数据实时同步到目的端为MRS Hudi数据库的场景。 MySql源端配置。 支持选择源端多库多表迁移。 DDL支持新增列。 Hudi目的端配置。
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 问题描述 使用python调用执行脚本的api报错:The request parameter invalid。 调用执行脚本接口。 查看日志: 报错:Content
取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码
Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错:作业中节点XXX关联的脚本没有提交的版本。 原因分析 该作业内的脚本还没有提交版本,就开始执行调度,导致执行调度报错。作业调度前必须保证作业内脚本都存在一个版本。 解决方案