检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 variables 否 Object 启动作业,配置变量参数,作业配置无变量时,为空对象。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 submissions Array
设置过滤条件类型。 业务定义 输入过滤条件的业务定义。支持的长度为0~600个字符。 表达式 通过函数和字段配置表达式。 描述 描述信息。支持的长度为0~600个字符。 基本参数配置完成后,单击“代码配置”,可以查看系统生成的伪代码。 单击“生成伪代码”,可以对已经生成的伪代码进行刷新。单击“复
规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理?
g转bigint,bigint转int。 解决方案 根据报错信息找到哪个字段映射有问题,找DBA修改表结构。 如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 数据集成(CDM作业)
根据处理人、实例名称进行搜索展示规则实例的列表信息,输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框,进入“单连接SQL并发数配置”页面,配置SQL并发数。输入值必须在10到1000之间。单击“确定”,完成配置。 说明: 并发数是指单个数据连接下的SQL并发数,如果超出则等待排队执行。
选择IAM应用类型,IAM认证方式的API只能授权给IAM类型的应用。 IAM:IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置,应用名称固定为华为账号,每个DataArts Studio实例下仅能创建一个,各工作空间之间均可见。 APP:APP类型应用为APP认证
操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群 cluster deleteCluster 修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启 cluster restartCluster
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
数据开发,包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的数据分析结果。 服务退订,如果不再使用DataArts Studio相关服务,请及时进行退订和资源删除。
流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图4 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程,在DataArts Studio数据
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本开发导航栏,选择,展开DWS数据连接,选择需配置的数据库,展开目录层级至“schemas”,右键单击“schemas”,选择“新建模式”。 在弹出的“新建模式”页面,配置如表1所示的参数。 表1 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。
作业脚本保存下来,仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务:可以先手工创建一个作业,导出作业配置(导出的文件为JSON格式),然后参考该作业配置,在JSON文件中批量复制出更多作业,最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面,单击左侧导航
源端为Elasticsearch/云搜索服务 JSON样例 "from-config-values": { "configs": [ { "inputs": [
查询服务目录API列表 功能介绍 查询服务目录API列表。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/market 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业
开启数据服务集群LTS日志转储 功能介绍 开启数据服务集群LTS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/lts-log-dump 表1 路径参数 参数 是否必选
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/obs-log-dump 表1 路径参数 参数 是否必选
据。 fromJobConfig.schemaName 是 String 数据库模式或表空间,例如:“public”。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *
Top10电影) 创建DWS SQL脚本top_active_movie(用于存放最活跃的Top10电影) 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的Top10电影结果。 服务退订,如果不再使用DataArts Studio及相关服务,请及时进行退订和资源删除。