检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
parent_id 否 String 父目录ID,根节点没有此ID,空值为所有,-1为根节点下节点。ID字符串。
- 导入模式 COPY模式:将源数据经过DWS管理节点后复制到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。
obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。
parent 否 parent object 父节点。 parentId 否 String 父节点ID。 l1 否 Boolean 是否为L1层。主题域分组。 l2 否 Boolean 是否为L2层。主题域。 l3 否 Boolean 是否为L3层。业务对象。
parent 否 parent object 父节点。 parentId 否 String 父节点ID。 l1 否 Boolean 是否为L1层。主题域分组。 l2 否 Boolean 是否为L2层。主题域。 l3 否 Boolean 是否为L3层。业务对象。
FusionInsight HD和Apache Hadoop数据源约束 FusionInsight HD和Apache Hadoop数据源在用户本地数据中心部署时,由于读写Hadoop文件需要访问集群的所有节点,需要为每个节点都放通网络访问。
另外,“全部”根节点分类也不允许删除。 删除操作无法撤销,请谨慎操作。 编辑样本:在样本库管理页面,单击对应样本操作栏中的“编辑”,即可修改样本的各项参数。 删除样本:在样本库管理页面,单击对应样本操作栏中的“删除”,即可删除样本。 注意,被脱敏算法引用的样本不能被删除。
基础与网络连通配置 IP 是 填写ClickHouseServer所在节点IP。 端口 是 默认使用ClickHouseServer的配置参数http_port,用于接收JDBC请求的端口。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。
说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 在SQL编辑器中输入SQL语句,支持输入多条SQL语句。
表3 请求Body参数 参数 是否必选 参数类型 描述 restart 是 restart object 集群重启操作,定义哪些集群节点需要重启,请参见restart参数说明。
obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。
导出的文件第一列将该空间下所有的作业名都展示出来,包括实时作业的节点、Foreach子作业、Subjob子作业。 父主题: 配置
OBS终端节点:配置为OBS的域名或IP地址,例如“obs.myhuaweicloud.com”。 端口:OBS服务器的端口,例如“443”。 OBS桶类型:根据实际情况下拉选择即可。 访问标识(AK)、密钥(SK):访问OBS数据库的AK、SK。
进阶实践 数据迁移进阶实践 数据开发进阶实践 参考案例 贸易数据统计与分析 车联网大数据业务上云 搭建实时报警平台 跨工作空间的DataArts Studio数据搬迁 通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 06
首次新建流程时,可选择在流程的根节点下新建流程。 图1 流程设计 在弹出对话框中配置如下参数,然后单击“确定”完成流程的创建。 图2 新建流程 表1 新建流程参数说明 参数名 说明 流程名称 流程名称,只允许除/、\、<、>、%、"、'、;及换行符以外的字符。
如需使用基于DataArts Studio数据架构的数据标准自动生成质量作业的功能,MRS集群版本必须是2.0.3及以上版本,集群必须包含Hive和Spark组件,集群总节点数至少4个。本示例需要使用该功能,因此必须满足这个条件。
子网 subnet-1 安全组 sg-1 增量包 作业节点调度次数/天增量包 不同版本的DataArts Studio实例,针对作业节点调度次数/天,技术资产数量和数据模型数量这三类配额,提供了默认规格。当实例默认配额不足以满足业务需要时,可以勾选并购买此处的增量包。
子网 subnet-1 安全组 sg-1 增量包 作业节点调度次数/天增量包 不同版本的DataArts Studio实例,针对作业节点调度次数/天,技术资产数量和数据模型数量这三类配额,提供了默认规格。当实例默认配额不足以满足业务需要时,可以勾选并购买此处的增量包。
说明: CONNECT权限的用户(只读用户)创建连接时会出现“表或视图不存在”的提示,需要执行如下操作进行授权: 以root用户登录oracle节点。 执行如下命令,切换到oracle用户。 su oracle 执行如下命令,登录数据库。
对于Hash分布表,在读/写数据时可以利用各个节点的IO资源,大大提升表的读/写速度。一般情况下大表(1000000条记录以上)定义为Hash表。 PreCombineField 该参数仅SPARK连接类型有效。