检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
要注意如下网络配置: VPC 虚拟私有云。专享版实例需要配置虚拟私有云(VPC),在同一VPC中的资源(如ECS),可以使用专享版实例的私有地址调用API。 在购买时专享版实例时,建议配置和您其他关联业务相同VPC,确保网络安全的同时,方便网络配置。 弹性公网IP 专享版实例的A
配置互斥 通过配置互斥组,可以避免多个作业去并发的运行。配置好互斥组以后,本次设置将在作业的下一个调度周期生效。 互斥组配置完成后,在同一个互斥组内的作业,只能有一个作业是运行中,其他作业生成实例后则处于等待运行中。当运行中的作业运行完(包括执行成功、执行失败、取消)或者停止调度
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
导入”,进入导入API页面。 在导入页面中配置导入参数后,单击“选择Excel文件”,选择待导入的API文件后单击导入,导入结果中可以展示导入状态。 当前仅专享版支持按照导入文件定义自动新建审核人(须确保审核人已为当前工作空间成员)。 表1 导入参数配置说明 参数 说明 是否发布 配置导入的API是否需
开启“公网入口”,创建集群时会为集群自动绑定一个新建的弹性公网IP,后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景,建议开启。如果在创建集群时未开启公网入口,后续则不再支持绑定EIP。 带宽大小 可配置公网带宽范围。 虚拟私有云
标准模板管理 功能配置 功能配置用于自定义数据架构中的各项功能。 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“功能配置”。 在功能配置页面,可根据用户具
口”才能进行公网访问。因此,对于已创建的未开启公网入口的数据服务专享版集群,不支持再绑定弹性公网IP,即无法再直接通过公网访问。 在这种情况下,您可以导出当前集群的API,然后重新新建一个开启“公网入口”的数据服务专享版集群,再将旧集群的API导入到新集群上,即可开启公网访问。
者在数仓规划中选择所需的物理模型,单击进入,然后单击列表上方的“新建”按钮新建一个表。 图1 入口 在“新建表”页面,根据页面提示完成建表的配置。 填写基本配置参数。 图2 表基本配置 表1 基本配置 参数名称 说明 *所属主题 单击“选择主题”选择所属的主题信息。 *表名称 表的名称。
配置任务组 通过配置任务组,可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业,只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。
使用Agent Agent功能待下线,无需配置。 - local_infile字符集 mysql通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。
例如这里配置为cdm*时,CDM将迁移所有名称为cdm开头的索引:cdm01、cdmB3、cdm_45…… 目的端作业配置 目的连接名称:选择创建云搜索服务连接中的“csslink”。 索引:待写入数据的索引,这里可以选择一个云搜索服务中已存在的索引,也可以手动输入一个不存在的索
图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系
未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
配置作业调度为年调度 场景描述 在配置作业配置调度时,可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度,请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业,然后在作业里面新增一个Dummy节点(空节点,不处理实
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
linkConfig.deploymentMode 是 枚举 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。
列资源、配置MRS队列属性(离线/实时)以及为指定的队列配置用户权限策略,另外工作空间管理员用户也可以为用户组/用户配置队列权限策略。 当前工作空间分配的队列资源和配置的队列权限并无绑定关系,队列权限策略实际上落在数据源配置中。因此,当删除当前工作空间的队列资源后,已配置的队列权
行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。 (可选)配置流控策略 为了保护后端服务的稳定的考虑,您可以对API进行流量控制。 (可选)主动授权API 应用定义了一个API调用者的身份。对于使用APP或IAM认证方式的API,必须在API授权后,才能获得认证信息以用于API调用。
配置管理 配置 管理资源 父主题: 数据开发
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性