检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
选择“数据开发 > 审批中心”,单击“待审批”页签。在此页面查看当前需要审批的申请单。 单击操作栏的“审批”,查看申请单的详细信息并进行审批。 填写审批意见后,根据实际情况同意或拒绝该申请单。 仅审批人可以查看自己已审批的历史记录。 选择“数据开发 > 审批中心”,单击“已审批”页签。在此页面查看已审批的申请单。
跳过:如果模板名称有重复,会忽略后继续导入。 单击“上传文件”,选择准备好的数据文件。 可通过如下两种方式填写数据文件: (推荐使用) 通过“导出”功能,可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”,将数据填写好再导入至系统中。 配置目录的映射资源信息,选择导入后的规则模板存储目录。如不选择,默认使用原映射资源信息。
原因导致迁移失败。 使用GDS模式快速导入数据到DWS时,需要配置相关安全组或防火墙策略,允许DWS/LibrA的数据节点访问CDM IP地址的25000端口。 使用GDS模式导入数据到DWS时,CDM会自动创建外表(foreign table)用于数据导入,表名以UUID结尾(
s),需要分别指定小数的最大位数(p)和小数位的数量(s),则数据类型DECIMAL的默认拓展可填写为“(10,2)”,指的是小数点左侧的位数为2,小数点右侧的最大位数为10-2=8;又如数据类型VACHAR也需要指定位数,当默认拓展填写为“10”,指的是最大长度为10字符。 数仓对应类型 选择新建类型所映射连接的数据类型。
过程中所需的DataArts Studio组件功能,并分析后续的业务负载情况。 表1 业务调研表 序号 收集项 需收集信息描述 调研结果 填写说明 1 工作空间 企业大数据相关部门的组织和关系调查 本示例不涉及 用于合理规划工作空间,降低空间相互依赖的复杂度 各组织部门之间对数据、资源的访问控制
申请API授权 对于API调用者而言,如果API开发者未授权APP或IAM认证方式的API,则需要自行申请API授权,等待审批通过后才能进行API调用。 如果API开发者已完成授权APP或IAM认证方式的API给应用(详见通过应用授权APP认证方式API、通过应用授权IAM认证方
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题: 开发数据服务API
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发,因此包含了Flink系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因
e。选择一个Kafka Client节点,并配置作业参数,编排图6所示的作业。 此处需将参数名填写为name和score,仅用于主作业的For Each节点识别子作业参数;参数值无需填写。 配置Kafka Client节点参数。发送数据定义为:${name}: ${score},选择Kafka连接和Topic名称。
调试API 操作场景 API创建后需要验证服务是否正常,管理控制台提供调试功能,您可以添加HTTP头部参数与body体参数,调试API接口。 后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。
编排API 编排API简介 配置入口API算子 配置条件分支算子 配置并行处理算子 配置输出处理算子 API编排典型配置 父主题: 开发数据服务API
EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。
创建API 配置方式生成API 脚本/MyBatis方式生成API 注册API 父主题: 开发数据服务API
发布API 本文将为您介绍如何发布数据服务中的API。 操作场景 为了安全起见,在数据服务中生成的API以及注册的API,都需要发布后才能对外提供服务。 前提条件 已调试成功待发布的API。 约束与限制 不支持单个或多个用户同时发布API到同一专享版集群,系统会提示“当前操作正在执行中,请稍后重试”。
管理API API版本管理 设置API可见 停用/恢复API 下线/删除API 复制API 同步API 全量导出/导出/导入API 父主题: 开发数据服务API
集群id。请于集群管理页面查看集群ID信息。当数据源类型为DLI时,该参数需要填写为DLI。 cluster_name String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name String 数据库名称。获取方法请参见获取数据源中的表。
选择需要循环执行的子作业。 子作业参数 否 仅当循环执行的子作业配置了作业参数后,出现该参数。参数名即子作业中定义的变量,参数值按如下原则填写: 当循环执行的子作业需要根据父作业的变量读取替换时,则本参数为可配置为EL表达式,一般配置为#{Loop.current[0]}或#{Loop