检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。 不支持注释
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。 不支持注释
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。 不支持注释
在过滤框中选择“作业”,展示历史7天的作业运行记录。 单击某一条运行记录,可查看当时的作业信息和日志信息。 如果该作业当时只有部分节点执行测试,则运行历史只展示参与测试运行的节点信息和日志信息。 父主题: 数据开发
同步状态 UNKNOWN 未知 NOT_SYNC 未同步 SYNCING 同步中 SYNC_SUCCESS 同步成功 SYNC_FAIL 同步失败 schedule_status 否 String 用户同步任务调度状态 NOT_SCHEDULE 未启用调度 SCHEDULING 调度中
统计资产接口 获取技术资产统计信息 获取业务资产统计信息 父主题: 数据目录API
Client算子为例。 问题现象 在配置作业算子参数时,在添加请求头中时,需要输入参数及参数值,如果该参数的参数值长度超过512个字符时,则不能继续输入,如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称,例如{para}。 图2
据运营工具平台,数据开发周期长、效率低,不能满足业务运营决策人员的诉求。 数据运营成本高,数据未服务化,导致数据复制多、数据口径不一致,同时数据重复开发,造成资源浪费。 数据创新的挑战 企业内部存在大量数据孤岛,导致数据不共享、不流通,无法实现跨领域的数据分析与数据创新。 数据的
描述 validation-result Array of validationResult objects 校验结构:如果创建连接失败,返回失败原因,请参见validation-result参数说明。如果创建成功,返回空列表。 表10 validationResult 参数 参数类型
数据目录API 业务资产接口 指标资产接口 统计资产接口 资产管理接口 资产分类接口 资产分级接口 资产信息 血缘信息 元数据采集任务接口 数据地图接口 标签接口
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
Studio控制台首页的数据目录模块。 单击左侧导航的“任务管理”,进入任务管理页面。 在任务管理页面单击“新建”,新建一个元数据采集任务。 配置任务信息,如下图所示。 图1 配置任务信息 单击“下一步”,配置调度属性如下图所示。 图2 配置调度属性 单击“提交”,完成采集任务的创建。 单击任务管理列表中的“
Array of ApigIamUserDto objects 用户列表信息,从获取工作空间用户信息列表中获取。 groups 否 Array of Group objects 用户组列表信息,从获取工作空间用户信息列表中获取。 roles_ids 是 Array of ApigRole
Array of ApigIamUserDto objects 用户列表信息,从获取工作空间用户信息列表中获取。 groups 否 Array of Group objects 用户组列表信息,从获取工作空间用户信息列表中获取。 roles_ids 是 Array of ApigRole
objects 匹配到的主题信息。 directories Array of strings 数据质量目录信息。 queues Array of strings 队列名称。 connections Array of NameType objects 数据连接信息。 表5 MatchedTopicMsg
在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。 操作流程如下:
论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。 用户在关系建模过程中,可以从以下三个层次去设计关系模型,这三个层次是逐层递进的,先设计概念模型,再进一步细化设计出逻辑模型,最后设计物理模型。
在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“运营管理 > 流控策略”,进入到流量控制信息页面。 单击“创建流控策略”,弹出“创建流控策略”对话框。输入如表1所示信息。 图1 创建流控策略 表1 流控策略信息 信息项 描述 策略名称 API流控策略名称。 时长 流量限制的时长。 与“API
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。 不支持注释
> 作业监控”。 选择“实时集成作业监控”页签,单击作业名称。 在详情页面,选择“日志信息”,在左侧日志列表中单击具体日志文件,即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2 支持作业日志主题更换。 作业日志默认实时滚动更新,可在右上角去掉勾选“日志滚动”选项。