检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
For Each 功能 该节点可以指定一个子作业循环执行,并支持用一个数据集对子作业中的变量进行循环替换。 For Each节点的具体使用教程,请参见For Each节点使用介绍。 For Each节点单次运行时,指定的子作业最多循环执行1000次。 如果DLI SQL作为前置节点
权限列表 工作空间成员共有管理员、开发者、部署者、运维者和访客五种预置角色,并支持自定义角色。 管理员:工作空间管理员,拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发
外部接口(高级特性) 外部接口用于对接第三方平台的接口,当前支持加密接口和通知接口。 加密类型:主要用于在数据开发导入数据文件时,根据数据入湖检测规则实时发现敏感数据后,调用外部接口所对接的的第三方平台加密算法对文件数据进行加密处理。 消息通知类型:主要用于配置权限到期提醒时,通过选择外部接口
修改脚本内容 功能介绍 本接口用以修改脚本的配置项或者脚本内容。 修改脚本时,需要指定待修改的脚本名称。 脚本名称和脚本类型不支持修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/scripts
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称
Go 操作场景 使用Go语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 前提条件 已获取API的域名、ID、请求url、请求方法、AppKey和AppSecret
DWS SQL 功能 通过DWS SQL节点传递SQL语句到DWS中执行。 DWS SQL算子的具体使用教程,请参见开发一个DWS SQL脚本作业。 背景信息 该节点方便用户在数据开发模块的批处理作业和实时处理作业中执行DWS相关语句,可以使用参数变量为用户的数据仓库进行增量导入,
Android 操作场景 使用Android语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Android
使用Python脚本连接MRS安全集群执行Impala SQL 第一步:在执行任务的服务器上安装相应的包 pip install krbcontext(版本0.10) pip install kerberos(版本1.3.1) pip install impala 命令样例如下:
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开发
MRS Kafka数据连接参数说明 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务(MRS Kafka)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符
MRS Clickhouse数据连接参数说明 表1 MRS Clickhouse数据连接 参数 是否必选 说明 数据连接类型 是 MRS Clickhouse连接固定选择为MapReduce服务(MRS Clickhouse)。 数据连接名称 是 数据连接的名称,只能包含字母、数字
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程,请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1,表2和表
通过CDM节点批量创建分表迁移作业 适用场景 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。 在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据迁移作业。您可以参考本教程,通过数据开发模块的For Each节点和CDM节点,配合作业参数
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数据架构数据搬迁依赖于数据架构的导入导出功能
MRS HBase数据连接参数说明 表1 MRS HBase数据连接 参数 是否必选 说明 数据连接类型 是 MRS HBase连接固定选择为MapReduce服务(MRS HBase)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符
开发批处理单任务SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的批处理作业,请您参考开发SQL脚本、配置作业参数、质量监控、数据表、调测并保存作业和下载或转储脚本执行结果章节。 前提条件 已创建作业,详情请参见新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。
Oracle数据迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP 创建云搜索服务连接 创建