检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#{Job.getNodeOutput("maxtime")} 保存并提交版本。作业创建完成。 在CDM作业中通过where子句配置获取最大时间值数据并传递给目的端作业 打开已创建的子作业。 单击CDM作业名称后面的跳转到CDM作业配置界面。 图5 编辑CDM作业 在源端作业配置的
使用快照迁移并恢复会变的数据 在源端CDH集群HBase shell中执行: flush <table name> 在源端CDH集群HBase shell执行: compact <table name> 如果表没有打开Snap功能,则执行: hadoop dfsadmin -allowSnapshot
5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 var
082acb20c8eb05ccc4 准备数据文件“in.txt”,内容为一段英文单词。 操作步骤 将作业资源包和数据文件传入OBS桶中。 本例中,WordCount.jar文件上传路径为:lkj_test/WordCount.jar;word.txt 文件上传路径为:lkj_test/input/word
配置AppKey和AppSecret。由于认证用的AppKey和AppSecret编码到代码中或者明文存储都有很大的安全风险,因此建议在配置文件或者环境变量中存放,确保安全,本示例从环境变量中获取。 在Eclipse中,单击菜单栏的“Run > Run Configurations”,在弹窗中选
好模板中的相关参数并保存。 导出的表文件 您可以将某个DataArts Studio实例的数据架构中已创建的表导出到Excel文件中。导出后的文件可用于导入到关系模型中。导出模型的操作请参见导出表或DDL。 打开下载的模板,请根据业务需求填写好模板中的相关参数并保存,模板中的“填写说明”Sheet页供参考。
钮手动增加保存版本。 支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发脚
注册账号并实名认证 账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。 为了能够给您提
注册账号并实名认证 账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。 为了能够给您提
BS桶中。用户配置脏数据归档后,正常数据可以写入目的端,迁移作业不会因脏数据中断。在本示例中,“OBS桶”配置为在准备数据源中的桶fast-demo,您需要前往OBS控制台,在fast-demo桶中单击“新建文件夹”创建一个目录,例如error-data,然后再将图12中的“脏数据目录”配置为该目录。
在导出窗口中单击“确认”导出全量API,单击确认即可以Excel文件的形式导出API。 图1 全量导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 新空间导入数据 在DataArts
日志”来查看该作业最近的一次日志。 查看作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口,预览最多1000条数据内容。可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数
创建子作业“分表作业”,选择CDM节点,节点属性中作业类型配置为“创建新作业”,并将步骤2中复制的作业JSON粘贴到“CDM作业消息体”中。 图6 配置CDM作业消息体 编辑“CDM作业消息体”。 由于源表有三个,分别为mail001、mail002、mail003,因此需要将作业JSON中的“fromJobConfig
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
在“类型”筛选区域,单击“搜索全部”按钮并在全部类型中勾选“Job”、“Node”和“Table”,然后单击“确定”。数据开发中的作业对应于Job类型,节点对应于Node类型,表对应于Table类型。 数据开发中的作业信息不属于任何一个数据连接,故如果在搜索条件中勾选数据连接,则查询不到结果。 图2
在“类型”筛选区域,单击“搜索全部”按钮并在全部类型中勾选“Job”、“Node”和“Table”,然后单击“确定”。数据开发中的作业对应于Job类型,节点对应于Node类型,表对应于Table类型。 数据开发中的作业信息不属于任何一个数据连接,故如果在搜索条件中勾选数据连接,则查询不到结果。 图2
是否忽略OBS监听默认为“是”。 企业模式下,开发者不能对作业实例进行重跑。 查看作业的节点信息 单击作业名称,在打开的页面中单击作业节点,查看该节点的相关关联作业/脚本与监控信息。 单击作业名称,在打开的页面中查看该作业的作业实例,详情请参见批作业监控:作业实例。 调度作业相关 支持执行调度、暂停调度
ion对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 数据集成配置 访问标识(AK) 是 适用组件勾选数据集成后,呈现此参数。
由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 414 Request-URI Too Large 请求的URI过长(URI通常为网址),服务器无法处理。 415
单击“确定”。 终端订阅配置完成后,您可以在通知的“操作”列进行如下操作。 单击“请求订阅”,打开“请求订阅”页面,订阅状态为“未确认”,单击“确定”,确认订阅后,订阅状态为“已确认”。 单击“删除”,打开“删除订阅”页面,选择“确定”,删除通知。 终端订阅管理页面支持批量删除和批量请求订阅,不支持编辑。