检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意,删除集群后将无法恢复,请确保相关业务数据已导出备份,并谨慎操作! 在集群页面单击“更多 > 删除”,可进行删除操作。 绑定内网域名:内网域名是指在VPC中生效的域名。绑定内网域名,可以将内网域名与内网地址相关联,然后在内网同一VPC中通过内网域名进行API调用。
节点映射表达式写法固定为“${节点编码|payload}”,节点编码可通过在API编排的画布中,单击节点后在节点详情中查看,并支持通过复制。
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。 通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。
单击“复制到指标代码”可以复制代码到下面的指标代码,单击“格式化”,可以对指标代码进行格式化。 在页面下方,单击“保存”按钮。 单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,衍生指标创建完成。
Postgres数据源复制槽数达到上限时,无法执行新的作业,可以通过设置max_replication_slots的数值提高复制槽的使用上限或手动删除复制槽(Postgres数据源不支持自动删除复制槽)解决,手动删除请参见PostgreSQL数据源如何手动删除复制槽?。
从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。
图2 上下游作业节点标记 在作业节点上右键单击,可进行查看作业、复制作业名称、收起上/下游作业等操作。 图3 作业节点操作 通过作业树目录查看作业依赖关系图 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
单击“复制到指标代码”可以复制代码到下面的指标代码,单击“格式化”,可以对指标代码进行格式化。 在页面下方,单击“保存”按钮。 单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,复合指标创建完成。
图5 编辑CDM作业 在源端作业配置的高级属性里面,通过配置where子句获取迁移所需的数据,作业运行时,将从源端获取到的迁移数据复制导出并导入目的端。 图6 配置where子句 where子句配置如下: dt > '${maxtime}' 父主题: 使用教程
从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。
dfsadmin -allowSnapshot $path 创建HDFS Snapshot,例如命名s0: hdfs dfs -createSnapshot <snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至
在表的列表中,找到需要查看详情以及预览SQL的表,在表所在行,单击“更多 > 预览SQL”可以预览SQL或复制SQL。完成预览后单击“确定”返回关系模型的列表页面。 图2 关系模型列表2 在表的列表中,单击表名称进入表详情页面,可以查看表的详情、关系图、发布历史和审核历史。
支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。
GetObject obs:object:PutObject obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:bucket:CreateBucket 运行脚本、运行作业以及备份作业
如果是创建新HBase表,支持从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。
需要注意的是,由于数据可以无限复制,具有弱排他性,所以市场的参与者需要从一开始就建立营销体系以及品牌意识,为下一阶段的残酷竞争做好相应准备。 图2 形成无形资产收入 第三步:形成存量资产 存量资产是指企业所拥有全部可确指的资产,包括企业的应收账款、其他应收款、无形资产等。
图2 新建作业 图3 配置基本信息 样例作业创建完毕后,如下图查看作业JSON,并复制作业JSON,用于后续数据开发作业配置。 图4 查看作业JSON 图5 复制作业参数 创建数据开发作业 单击工作空间的“数据开发”,进入DataArts Studio数据开发模块。
job batchReleaseEditLock 测试运行 job testRun 执行调度 job startJob 执行调度 job startJobByName 停止调度 job stopJob 批量停止调度 job stopJobs 暂停调度 job pauseJob 作业复制另存为
支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。