检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用信息 信息项 描述 应用名称 应用名称,IAM应用类型固定为华为账号,且不支持修改。 应用类型 选择IAM应用类型,IAM认证方式的API只能授权给IAM类型的应用。 IAM:IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置,应用名称固定为华为账号,每个DataArts
不限制。 16 源端Hive包含array和map类型时,目的端表格式只支持ORC和parquet复杂类型。若目的端表格式为RC和TEXT时,会对源数据进行处理,支持成功写入。 因map类型为无序的数据结构,迁移到目的端的数据类型可能跟源端顺序不一致。 Hive作为迁移的目的时,
获取数据连接信息 功能介绍 获取指定类型下的数据连接信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/atlas/data-warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 父主题: 开发数据服务API
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将O
集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类: MRS集群:MRS HDFS,MRS HBase,MRS Hive。
所示信息。 表1 应用信息 信息项 描述 应用名称 应用名称。 应用类型 选择APP应用类型,APP认证方式的API只能授权给APP类型的应用。 IAM:IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置,应用名称固定为华为账号,每个DataArts S
在对应主题的操作栏,选择“添加订阅”。然后协议选择“短信”或“邮件”,输入接收告警通知的手机号或邮箱即可。 图3 添加订阅 购买数据模型数量增量包 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,按照如下配置: 增量包类型:选择数据模型数量增量包。 计费方式:当前仅支持套餐包。
图1 实时作业监控 表1 实时作业监控支持的操作项 序号 支持的操作项 说明 1 根据“作业名称”、“责任人”、“CDM作业”或“节点类型”筛选作业 - 2 根据“运行状态”或“作业标签”筛选作业 - 3 批量配置作业 通过勾选作业名称前的复选框,支持批量执行操作(启动、停止、添加作业标签)。
在对应主题的操作栏,选择“添加订阅”。然后协议选择“短信”或“邮件”,输入接收告警通知的手机号或邮箱即可。 图3 添加订阅 购买技术资产数量增量包 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,按照如下配置: 增量包类型:选择技术资产数量增量包。 计费方式:当前仅支持套餐包。
置中心”,进入相应页面后,选择“审核人管理”页签。 在“审核人管理”页面,单击“添加”按钮。 在弹出的添加对话框中,选择审核人,输入正确的手机号码和电子邮箱,单击“确定”完成审核人添加。 审核人必须是当前工作空间下具有审核权限的成员,只有管理员和开发者才具有审核权限。 审核人不支持手工添加,需要先在“DataArts
ClickHouse连接时,目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设置为nullable(),否则写入到MRS ClickHouse的值会为0。 请确认目的端表引擎是否为
置中心”,进入相应页面后,选择“审核人管理”页签。 在“审核人管理”页面,单击“添加”按钮。 在弹出的添加对话框中,选择审核人,输入正确的手机号码和电子邮箱,单击“确定”完成审核人添加。 审核人必须是当前工作空间下具有审核权限的成员,只有管理员和开发者才具有审核权限。 审核人不支持手工添加,需要先在“DataArts
String 节点类型,当前只有“cdm”一种类型。 表6 nics 参数 是否必选 参数类型 描述 securityGroupId 是 String 安全组ID。 net-id 是 String 子网ID。 表7 Datastore 参数 是否必选 参数类型 描述 type 否
数据开发中的事件驱动是否支持线下kafka? 问题描述 用户在配置事件驱动调度时,事件触发类型选择kafka时,不能选到线下kafka。 解决方案 数据开发中的事件驱动不支持线下kafka,仅支持MRS kafka。 父主题: 数据开发
单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 审核API申请 在DataArts Studio控制台首页
邮件”,输入接收告警通知的手机号或邮箱即可。 图2 添加订阅 购买规格增量包 规格增量包的购买方式类似,本例以购买“作业节点调度次数/天增量包”为例进行说明。 单击已开通实例卡片上的“购买增量包”。 进入购买DGC增量包页面,按照如下配置: 增量包类型:选择规格增量包,如作业节点
参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选MongoDB,目的端选DWS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源:选择已创
的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动配置血缘时,此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。
误。 5C91687BA886EDCD12ACBC3FF19A3C3F HDFS文件编码只能为“UTF-8”,故HDFS不支持设置文件编码类型。 父主题: 配置CDM作业目的端参数