检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
index starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafka,目的端为DLI字段映射,赋值来源为“源表字段”,赋值框使用kafka消息中的嵌套json数组写入方式为a[0]。由于在字
08:08:08.666 +0800”。 图2 作业配置 此时,从其他数据源导入数据到云搜索服务时,如果源端数据中的日期格式不完全满足标准格式,例如“2018/01/05 15:15:46”,则CDM作业会执行失败,日志提示无法解析日期格式。需要通过CDM配置字段转换器,将日期字段的格式转换为云搜索服务的目的端格式。
Administrator账号登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表1所示。 图1 新建空间 表1 新建空间参数说明 参数名 说明 空间名称 空间名称,只能
议拆分到不同目录并创建多个任务。 用户在CDM上配置的连接和作业支持导出到本地保存,考虑到密码的安全性,CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前,需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 不支持集群自动升级到新版本,需要用户通过
单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文件系统。如果不配置作业日志OBS路径,DataArts Studio数据开发默认会把日志写到dl
在逻辑模型中选择所需要的逻辑模型,单击该模型进入管理页面,然后单击“新建”按钮新建一个逻辑实体。 在“新建逻辑实体”页面,根据页面提示完成相关配置。 填写基本配置参数。 图3 基本配置 表2 基本配置 参数名称 说明 *所属主题 单击“选择主题”选择所属的主题信息。 逻辑实体编码 支持自动生成和自定义两种方式。
作业编排好之后,您可以通过测试运行来测试作业编排是否正确。 您可以根据需要,配置作业的调度方式。单击右侧“调度配置”页签,展开配置页面。当前支持单次调度、周期调度和事件驱动调度作业。 图18 配置作业的调度方式 调度配置完成后,您需要单击“保存”按钮保存作业并单击“提交”按钮提交作业版本
无需自定义工作空间角色,直接将用户添加到工作空间成员、配置预置角色即可;否则,请您创建自定义角色,再将用户添加到工作空间成员、配置自定义角色。自定义工作空间角色的具体操作请参见(可选)自定义工作空间角色,添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。
”页签。 图2 进入动态脱敏订阅页签 单击“创建订阅”,弹出创建订阅窗口,参数配置参考表1。 图3 创建订阅参数配置 创建动态脱敏订阅任务参数配置说明: 表1 配置任务参数 参数名 参数说明 连接配置 *选择集群 选择需要同步第三方平台动态脱敏策略的集群。 当前暂不支持同步策略到
创建API 配置方式生成API 脚本/MyBatis方式生成API 注册API 父主题: 开发数据服务API
package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dataartsstudio "github.com/huaweicloud/huaweicl
park等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度,支持按时间、事件触发的任务触发机制,支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心,监控所有任务的运行,支持配置各类报警通知,便于责任人实时获取任务的情况,保证业务正常运行。
Studio权限的操作准备必要的IAM用户,然后参考本章节将该用户添加为工作空间成员并配置工作空间角色。 图1 权限体系 工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,您也可以参考(可选)自定义工作空间角色自定义角色
导入”,进入导入API页面。 在导入页面中配置导入参数后,单击“选择Excel文件”,选择待导入的API文件后单击导入,导入结果中可以展示导入状态。 当前仅专享版支持按照导入文件定义自动新建审核人(须确保审核人已为当前工作空间成员)。 表1 导入参数配置说明 参数 说明 是否发布 配置导入的API是否需
数据权限查询接口 查询角色对一组库、表的可配置操作权限信息 父主题: 数据安全API
环境变量、作业参数、脚本参数有什么区别和联系? 打不开作业日志,返回404报错? 配置委托时获取委托列表失败如何处理? 数据开发创建数据连接,为什么选不到指定的周边资源? 配置了SMN通知,却收不到作业失败告警通知? 作业配置了周期调度,但是实例监控没有作业运行调度记录? Hive SQL和Spark
选择所需要的衍生指标或复合指标,并根据实际需求在“表达式”中设置表达式。 同比增长率 *同比配置 选择年同比、月同比或者周同比。 *设定衍生指标 选择所需要的衍生指标,此处仅展示有时间限定衍生指标。系统会根据同比配置,利用时间限定自动计算同比增长率。 环比增长率 *设定衍生指标 选择所需要的衍
左侧为API请求参数配置区域,参数说明如表1所示。右侧为API发送的请求信息和API请求调用后的返回结果回显。 表1 调试API 参数名称 说明 API版本 仅专享版支持指定API版本调试。 当未指定API版本时,默认调试的是未发布的API。 参数配置 Query的参数与参数值。
的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业,目的端作业配置下“自动创表”选择“不存在时创建”,则高级属性下面会出现参数“扩大字符字段长度”,配置该参数为“是”即可,如图2所示。 图2 扩大字符字段长度 父主题: 数据集成(CDM作业)