检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafka,目的端为DLI字段映射,赋值来源为“源表字段”,赋值框使用kafka消息中的嵌套json数组写入方式为a[0]。由于在字段映射使用源表字段对目标
Boolean 是否为L1层。主题域分组。 l2 否 Boolean 是否为L2层。主题域。 l3 否 Boolean 是否为L3层。业务对象。 ordinal 否 Integer 顺序编号。主题返回时根据此编号由小到大排序。 tenantId 否 String 租户ID。获取方
Boolean 是否为L1层。主题域分组。 l2 否 Boolean 是否为L2层。主题域。 l3 否 Boolean 是否为L3层。业务对象。 ordinal 否 Integer 顺序编号。主题返回时根据此编号由小到大排序。 tenantId 否 String 租户ID。获取方
OFFLINE: 已下线 REJECT: 已驳回 approval_info 否 ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz 否 BizVersionManageVO object 业务版本管理,只读。
OFFLINE: 已下线 REJECT: 已驳回 approval_info 否 ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz 否 BizVersionManageVO object 业务版本管理,只读。
"eps_id" : "0", "job_log_location_name" : "obs://xxx/ccc/", "bad_record_location_name" : "obs://aaaaa111/" } 响应示例 状态码: 200 Success,创建工作空间成功。
relationship_attributes Object 关联关系属性,数据类型Map<String, Object>,key:关系类型:value:关联关系对象。 super_type_names Array of strings 父类资产类型。 business_attributes Object
数据标准全部属性,集合中是单个StandElementFieldVO对象 optional Array of StandElementFieldVO objects 可选项,集合中是单个StandElementFieldVO对象 system_default Array of StandElementFieldVO
records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化 Kafka写入优化 Kafka写入通常速率极快,若有阻塞的场景请优先增加并发解决。 父主题: 任务性能调优
cancel 否 Boolean 是否取消。 auto_stop 否 Boolean 是否自动停止。 obsconfig 否 OBSCommonConfig object obs配置,概要采集不涉及。 表4 TableColumnDTO 参数 是否必选 参数类型 描述 column_name
是 该参数表示Spark程序依赖的资源包。 资源类型 是 OBS路径 DLI程序包 DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 分组设置
Studio各版本均可以满足使用要求。 操作流程如下: 准备工作,包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创建数据迁移作业,将OBS数据迁移到DWS。 数据开发,包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影)
Driver。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5
参数 是否必选 参数类型 描述 resource_id 是 String 资源导出导入任务ID,通过导出资源或者导入资源返回内容获得。 obs_type 否 String 导出类型,技术报告:technology,业务报告:business,当导出质量报告时,该字段是必填项。 请求参数
以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value Object
面。 在页面的中间栏位的最上方,选择一个需要导出的物理模型。 选择所需导出的表,单击列表上方的“导出”按钮,导出所选的关系建模表,建议导出对象选择为“表”。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 图5 导出关系建模表 在界面中间栏位的最上方,依次选择其他模
downloadMap("url") 将IP与地址映射对象缓存起来并指定一个key值用于检索,例如“ipList”。 表达式:CommonUtils.setCache("ipList",HttpsUtils.downloadMap("url")) 取出缓存的IP与地址映射对象。 表达式:CommonUtils
您可以将表1数据导入到DLI表中,然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流,DWS创建外表请参见创建外表。 您可以将表1数据保存在
tion/json" -H "X-Cluster-ID:$ID" -H "X-Auth-Token:$Token" -d '{ "jobs": [{ "job_type": "NORMAL_JOB", "name": "mysql2dws", "from-link-name":
创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。 INSERT OVERWRITE table