检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目录配置数据搬迁 数据目录数据搬迁依赖于管理中心的资源迁移功能,详见管理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。
I支持两种方式(配置方式生成API和脚本/MyBatis方式生成API)。 调试API API创建后需要验证服务是否正常,管理控制台提供了调试功能。 发布API 只有将API发布后,API才支持被调用。 管理API 您可以根据您的需要,对已创建发布的API进行管理。 编排API
”,单击“确认提交”后,状态显示为“已发布”。 衍生指标创建完成后可以查看衍生指标详情。 (可选)参考步骤2~步骤7,完成其他衍生指标的发布。在本示例中,原子指标除了地区销售额,还需要在创建一个地区销售面积。 图3 新建衍生指标基本信息2 衍生指标创建完成后,如下图所示: 管理衍生指标
业务低峰期再次重试,或选择自建队列运行业务。 脚本调试无误后,单击“保存”保存该脚本,脚本名称为“top_like_product”。单击“提交”,提交脚本版本。在后续开发并调度作业会引用该脚本。 脚本保存完成且运行成功后,您可通过如下SQL语句查看top_like_produc
数据连接:步骤4中创建的DWS数据连接。 数据库:步骤6中创建的数据库。 脚本调试无误后,单击“保存并提交版本”提交该脚本,脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。 脚本保存完成且运行成功后,您可通过如下SQL语句查看top_rating_movie表数据。您还可以参考图3,下载或转储表数据。
支持对一个或多个节点的结果集名称进行映射,映射后的名称会作用到JSON或文件名中,未映射的结果集将不会输出到最终返回结果中。 节点映射表达式写法固定为“${节点编码|payload}”,节点编码可通过在API编排的画布中,单击节点后在节点详情中查看,并支持通过复制。 图1 查看节点编码
100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 目标项目ID
" 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 Oracle到DWS迁
开发、调试和执行。具体请参见开发脚本。 提交版本并解锁:脚本开发完成后,您需要提交版本并解锁,提交版本并解锁后才能正式地被作业调度运行,便于其他开发者修改。具体请参见提交版本。 (可选)管理脚本:脚本开发完成后,您可以根据需要,进行脚本管理。具体请参见(可选)管理脚本。 发布脚本
描述 否 参数说明。 配置完一个环境变量后,您还可以进行新增、修改或删除等操作。 新增:单击“新增”配置新的环境变量。 修改:参数值为常量时,直接在文本框中修改参数值;参数值为EL表达式时,可以单击文本框后方的编辑EL表达式,修改参数值。修改完成后,请“保存”。 删除:在参数值文本框后方,单击删除环境变量。
Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 “demo.go”为示例代码,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。 调用API示例
参数位置选择PATH。 类型设置为STRING。 选择性配置示例值和描述。 配置好API基本信息后,单击“下一步”,即可进入API取数逻辑页面。 配置API参数 配置API基本信息后,即可配置API参数。这里将配置API的后端服务和请求参数。 表2 API参数配置说明 配置 说明
有的责任人。 配置完成后,单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,指标定义创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 指标定义创建完成后可以查看指标定义详情。
到所需要的集群,单击“作业管理”。 图2 集群管理 进入作业管理后,选择“连接管理”。 图3 连接管理 创建集成任务所需的OBS连接、云数据库MySQL连接和MRS Hive连接。 单击“新建连接”,进入相应页面后,选择连接器类型“对象存储服务(OBS)”,单击“下一步”,然后如下图所示配置连接参数,单击“保存”。
作业提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,作业才能提交成功。具体操作请参见审批配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。
“导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目
“导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目
查看业务场景实例 管理所有运行的业务场景,查看运行状态、运行日志、问题处理等。 界面说明 介绍“业务指标监控 > 运维管理”页面中的区域和按键功能。 图1 运维管理页面 表1 运维管理页面说明 序号 区域 描述 1 菜单栏 运维管理的菜单栏,包括业务场景实例和我的订阅。 业务场景
须。 schema String DWS类型需要。 extend_info String 扩展信息。 tb_guid String 表物化后的guid,只读。 tb_id String 数据表ID,只读。 logic_tb_name String 逻辑实体名。 logic_tb_guid
不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后,需要手动再次单击才能同步到主题目录。 特殊的,数据架构处的主题或主题层级删除后,手动同步后目录不会删除,仅去除主题目录属性,作为普通目录进行展示。 完成同步后,若有同步失败的主题,系统会自动弹出同步结果明细,可查看同步失败的主题名称。