检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 当选择在DWS端自动创表时,DWS的表与
提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。 API工作流发布前,需确保其中的普通API均已处于已发布状态。 开发API工作流1:对返回消息进行映射或格式转换 某API默认返回的是JSON数据,现需要将API调用结果转换为EXCEL格式。
Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择需要上传数据的Topic,如果有多个partition,默认发送到partition
无限制,请您根据业务需求自行规划。 存储作业日志和脏数据依赖于OBS服务。 前提条件 请参见购买DataArts Studio基础包,确认已购买DataArts Studio实例。 背景说明 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“de
API_STATUS_PUBLISH_REJECT:驳回状态 API_STATUS_PUBLISHED:已发布状态 API_STATUS_WAITING_STOP:停用审核状态 API_STATUS_STOPPED:已停用状态 API_STATUS_RECOVER_WAIT_REVIEW:恢复审核状态
从下拉列表中选择已创建的数据源类型。 *数据连接 所选数据连接类型中已创建数据连接,支持从下拉列表中选择。 若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”,设置待扫描的数据库范围。单击“清除”,可对已选择的数据库进行修改。
HBase,Apache Hive。 操作场景 当需要新建Hadoop类型连接时,建议先创建集群配置,以简化复杂的连接参数配置。 前提条件 已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件
取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的
如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 请联系审核人员审核汇总表,等待审核通过。 审核通过后,汇总表就会在数据库中自动创建。
”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 子作业名称 是 选择需要调用的子作业名称。 说明: 您只能选择已存在的批处理作业名称,此批处理作业不能为作业本身,并且该批处理作业为不包含Sub Job节点的作业。 子作业参数名称 是/否 当节点属性中子
选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm 列表文件或目录 在OBS中存储文本文件
持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示: 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 节点数据血缘
String 集群状态: 100:创建中。 200:正常。 300:失败。 303:创建失败。 500:重启中。 800:冻结。 900:已关机。 910:正在关机。 920:正在开机。 failedReasons FailedReasons object 失败原因。集群处于正常状态时不返回。
暂无限制,请您根据业务需求自行规划。 存储作业日志和脏数据依赖于OBS服务。 前提条件 请参见购买DataArts Studio实例,确认已购买DataArts Studio实例。 背景说明 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“de
如果您只勾选了其中的某几个服务进行委托授权,下次进入DataArts Studio控制台首页时,系统仍会弹出访问授权的对话框,提示您对未授权的云服务进行访问授权。 图2 云资源访问授权 在已购买的实例中单击“进入控制台”,进入DataArts Studio控制台。 父主题: 购买DataArts Studio实例
在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集
删除角色:在角色管理导航树上勾选角色后,在导航树上方单击,在弹窗中再次确认后,即可删除权限集。 注意,通用角色中已配置角色、权限、用户或有子权限集时不可删除,如需删除应先清理相关配置。纳管角色中已配置权限时不可删除,如需删除应先清理相关配置。 通用角色删除后将被转移至回收站中,您可以在30天内
持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示: 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 通过数据目录查看数据血缘关系
选择“集群”时,才需要配置。 选择CDM集群。CDM集群提供代理,转发相关请求。 如果下拉框中未提供CDM集群,请访问CDM管理控制台创建集群。 数据连接 是 选择“数据连接”时,才需要配置。 选择已创建好数据连接。 请求类型 是 支持以下请求类型: GET POST PUT HEAD DELETE