检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 该参数表示Spark程序依赖的资源包。 资源类型 是 OBS路径 DLI程序包 DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 分组设置
Studio各版本均可以满足使用要求。 操作流程如下: 准备工作,包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创建数据迁移作业,将OBS数据迁移到DWS。 数据开发,包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影)
通过云专线连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过云专线打通网络的方案。 图1 网络示意图
current[0]}或#{Loop.current[1]}等,表示循环中取遍历到的数据集二维数组当前行的第一个值或第二个值等,详见Loop内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。 您也可以到下载中心配置默认的OBS路径地址,配置好后在转储时会默认填写。 覆盖类型 否 如果“存储路径”中,您自定义的文件夹在OBS路径中已存在,选择覆盖类型。当脚本为DLI
表名:要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建DWS连接中的连接“dwslink”。 模式或表空间:选择待写入数据的DWS数据库。 自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 表名:待写入数据的表名,可以手动
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
environ("SDK_SK"); sig = signer.Signer() sig.Key = ak sig.Secret = sk 生成一个Request对象,指定方法名、请求uri、header和body。 1 2 3 4 r = signer.HttpRequest("POST",
= new Signer(); signer.Key = ak; signer.Secret = sk; 生成一个HttpRequest对象,指定域方法名、请求url和body。 1 2 3 HttpRequest r = new HttpRequest("POST",
"008aae2e67abe2ff0167abe3a28f0000", "lastUpdate": 1544777083000, "name": "从路径[obs://aaaaa/job_batch.zip]导入作业。", "projectId": "b384b9e9ab9b4ee8994c8633aabc9505"
无法连接OBS服务器。 无法连接OBS服务器。 可能是由于OBS终端节点与当前区域不一致、AK/SK错误、AK/SK不是当前用户的AK/SK、安全组或防火墙规则未放行等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0801 400 OBS桶[%s]不存在。
*JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/ String json = "{\r\n"+ "\"jobs\": [\r\n"+ "{\r\n"+ "\"from-connector-name\": \"generic-jdbc-connector\"
配置过大或过小,可能影响作业的时长。 10000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 自定义连接属性。可选参数,单击“添加”可增加
OFFLINE: 已下线 REJECT: 已驳回 approval_info ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz BizVersionManageVO object 业务版本管理,只读。
涉及到用户的权限和资源权限控制 2 数据集成 有哪些数据源要迁移,数据源版本 CSV格式的数据,存储于OBS桶 - 每种数据源的数据全量数据规模 2,114 字节 - 每种数据源每天的增量数据规模 本示例不涉及 - 迁移目的端数据源种类以及版本 迁移到MRS Hive3.1 - 数据的迁移周期:天、小时、分钟还是实时迁移
sig = new signer.Signer(); sig.Key = ak; sig.Secret = sk; 生成一个Request对象,指定方法名、请求uri和body。 1 2 var r = new signer.HttpRequest("POST", "c967a2