检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署在云上的VPC内,服务之间以RESTful API方式通信,通信链路在VPC内部进行,网络安全得到进一步保障。同时专享版实例支持前端或后端服务部署在公有网络,通过绑定弹性公网IP实现网络交互。 表1 共享版与专享版数据服务差异 差异项 共享版 专享版 计费 - 根据集群规格按包年包月计费。
doesn't exist." } 状态码 状态码 描述 200 OK。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 错误码 请参见错误码。 父主题: 作业管理
选择Data_Quality_Monitor数据质量监控算子,将该节点拖入空白页面。并配置节点属性参数。 图2 配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题:
否则会导致频繁报警。建议预警余量基于基线上任务的运行时长来配置。 基线任务开关 :开启基线任务,系统将会监控基线任务以及其依赖链上游的所有任务。 :关闭基线任务,系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 :开启报警开关,当系统预测到基线上任务无法在承诺时间前完成
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签,单击作业名称。 在详情页面,选择“日志信息”,在左侧日志列表中单击具体日志文件,即可实时查看作业的运行日志。 图1 日志信息1
转换逻辑模型为物理模型 功能介绍 转换逻辑模型为物理模型,转换成功则显示转换后的目标模型信息。 异常:目标模型信息的“id”等属性为null时,则需要调用《获取操作结果》接口查看具体报错信息:GET https://{endpoint}/v1/{project_id}/design/operation-results
创建CDM与数据源之间的连接 新建表/文件迁移作业 数据目录(元数据采集) 为了在DataArts Studio对迁移到云上的原始数据层进行管理和监控,先对其元数据进行采集并监控。 元数据采集 采集数据源的元数据 数据架构 数据架构以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发,定
在模型视图中支持以下功能: 双击表名,可显示表的详情信息。 单击左上角的“导出图片”按钮,可以将模型视图导出成图片。 在右上角的搜索框中输入表名,可以快速找到的所要查看的表。 功能依次为放大、缩小、全屏、物理模型/逻辑模型切换、刷新、显示画布。 查看表详情以及预览SQL 在DataArts
产、同步业务资产等操作,在表的“同步状态”一列中将显示同步状态。 “同步状态”若均显示成功,则说明表发布成功。鼠标移至“同步状态”中的图标之上,若显示“创建表: 创建成功”说明该表在对应的数据源下已经创建成功。 “同步状态”若显示某一项或某几项失败,可以先刷新状态。如果仍失败,可以选择操作列的“更多
在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。
uris配置项。例如:thrift://host-192-168-1-212:9083 IP与主机名映射 否 使用集群配置为否时,是必选项。 如果Hadoop配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。 KMS密钥 否 使用集群配置为是时,是必选项。
群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Ag
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题: 数据集成(实时作业)
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题: 数据目录
整调度周期或停止调度即可。 在数据开发模块控制台的左侧导航栏,选择 “运维调度 > 实例监控”,日期选择当天,查看哪些作业调度较多。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”,查看调度较多的作业设置的调度周期是否合理。如果调度周期不合理,建议适当调整这些调度周
上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。 图20 导入码表成功 导入成功后,请单击“发布”,使其处于“已发布”状态。 导入数据标准 在数据架构主界面,单击左侧导航栏的“数据标准”,进入数据标准页面。 首次进入数据标准页面,会显示制定数据标准模板的页面,请参考旧空间的“配置中心
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
"yyyy-MM-dd")},更多EL表达式请参见EL表达式。 保存并提交作业版本,单击“测试运行”,执行数据开发作业。 数据开发作业执行成功后,单击右上角的“前往监控”,进入“作业监控”页面,查看生成的任务或实例是否符合需求,如图6所示。 图6 查看运行结果
打开一个已创建好的作业,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。 变量是指不同的作业下取值不同,需要重新配置值。
补数据场景下,在补数据监控页面,补数据作业实例运行状态显示为“待确认执行”,可以在实例监控页面进行手动确认执行,单击“确认执行”后,补数据作业实例运行状态显示为“等待运行”。 批作业监控场景下,在批作业监控页面,作业实例运行状态显示为“待确认执行”,可以进行手动确认执行,单击“确认