检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考表3。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步DML:包括INSERT、UPDATE、DELETE。
组装成一个tuple 计数1 pairWords = words.map(lambda word:(word,1),True) #使用3个分区 reduceByKey进行汇总 result = pairWords.reduceByKey(lambda v1,v2:v1+v2)
接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步的DML:包括INSERT、UPDATE、DELETE。
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集
Flink作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 查看OBS桶中返回的记录(没设置返回可跳过)。 父主题: 使用教程
配置模板 本章节主要介绍如何创建并使用模板。用户在编写业务代码时,对于重复的业务逻辑,可以直接引用SQL模板,同时在配置作业运行参数的时候,可以直接使用作业参数模板,不用再进行重复配置。 约束限制 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS
说明: 2021/08/06至2021/08/31,每天2点执行一次作业。 单击“提交”,执行调度作业,实现作业每天自动运行。 父主题: 使用教程
User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限。如果您需要与DAYU User账号权限的IAM用户协同使用DataArts Studio实例,请参考创建IAM用户并授予DataArts Studio权限的操作准备必要的IAM用户,然后参考本章节
种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖工厂”、“DLF”均可用于指代“数据开发”模块。 数据开发简介 使用数据开发模块,用户可进行数
式概述。 当该角色在简单模式空间下使用时,选择为“开发&生产模式,自定义角色”。 当该角色在企业模式空间下的开发环境下使用时,选择为“开发模式,自定义角色”。 当该角色在企业模式空间下的生产环境下使用时,选择为“生产模式,自定义角色”。 复用预置角色:如果您只需对预置角色权限进行
无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 本章节以Postman工具为例,为您介绍如何使用API工具调用无认证方式的API,主要包含如下几步: 获取API信息:准备API关键信息,用于API调用。
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集
接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步DML和DDL。 仅支持同步MyISAM和InnoDB表。
接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步所有Kafka消息,其中支持对JSON或CSV格式的消息体进行解析。
表达式的含义是:获取当前的时间点,判断是不是6月,如果是,则表明当前是6月,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式 父主题: 使用教程
应用ID编号。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace
Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DataArts Studio资源。
certificate)”,如下图所示: 图2 查看客户端属性 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 Hudi表使用Bucket索引的场景下不允许更新分区键,否则可能产生重复数据。 Hudi表使用Bucket索引的场景下主键仅保证单分区内唯一。 本链路所使用的Hudi表需带有3个审计字
任务实例ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace