检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“table_name”的数据表 例如: 填写为“datatest”,则元数据实时同步将同步数据库名包含“datatest”的数据库中的数据表。 填写为“datatest.table1”,则元数据实时同步将同步如下数据表:数据库名包含“datatest”的数据库,其中表名包含“table_name”的数据表。
Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,使用户可以在触发告警(如质量监控)时能立即接收到通知。 云专线服务 DataArts Studio使用云专线服务(Direct Connect,简称DC)打通与第三方数据中心的网络通信。
什么是数据复制服务(DRS)? 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。DRS适合迁移OLTP->OLTP、OLTP->DWS的场景都可以由DRS来完成数据迁移。即主流数据库到数据库(含第
txt为输出参数文件的路径(如已存在output.txt文件,会报错)。 单击“测试运行”,执行该MRS Flink作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 查看OBS桶中返回的记录(没设置返回可跳过)。 父主题: 使用教程
数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量及增量、实时数据集成。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。
行后,会通过For Each节点循环调用运行子作业EL_test_slave。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中找到子作业EL_test_slave的循环运行结果,如图10所示。 图10 子作业运行结果 查看子作业E
行后,会通过For Each节点循环调用运行子作业EL_test_slave。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中找到子作业EL_test_slave的循环运行结果,如图10所示。 图10 子作业运行结果 查看子作业E
在Flink SQL单任务作业中引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 右键单击作业,创建一个单任务模式的实时处理作业Flink SQL,进入作业开发界面。 单击右侧的“模板”,选择刚才创建好的脚本模板,例如412_mobna,系统支持可以引用多个模板。
置中心”,进入相应页面后,选择“审核人管理”页签。 在“审核人管理”页面,单击“添加”按钮。 在弹出的添加对话框中,选择审核人,输入正确的手机号码和电子邮箱,单击“确定”完成审核人添加。 审核人必须是当前工作空间下具有审核权限的成员,只有管理员和开发者才具有审核权限。 审核人不支持手工添加,需要先在“DataArts
删除作业 删除作业。 300 30 停止作业实例 停止作业实例。 300 30 重跑作业实例 重跑作业实例。 300 30 查询实时作业运行状态 查询实时作业的运行状态。 300 30 查询作业实例列表 查询作业实例列表。 300 30 查询作业实例详情 查询作业实例详情。 300
选择转储服务类型,目前支持转储至: CloudTable:通道里的流式数据存储在DIS中,并实时导入表格存储服务Cloudtable集群的HBase/OpenTSDB表。 OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 说明: 转储至CloudTable,仅华北-北京一区域支持。
获取任务执行结果列表 获取任务执行结果列表。 300 40 获取实例结果 获取实例结果。 300 40 数据质量运维管理操作处理&记录 该接口用于数据质量监控实例的问题处理,在控制台上可通过“更多>处理&记录”进入问题处理界面。 300 40 任务实例接口 表7 任务实例接口 API 说明 API流量限制(次/10s)
控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DataArts Studio的使用权限,但是不希望他们拥有删除工作空间等高危操作的权限,那么您可以使用IAM为
添加队列资源 单击队列权限目录中的队列,进入队列详情页面。 其中MRS Yarn队列可配置队列属性,主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图3 MRS Yarn队列详情 图4 DLI队列详情 为分配的队列资源进行授权。
API调用者完成以上步骤后,可以进行API调用。 总览页面说明 在总览页用户可以看到丰富的监控数据视图。数据服务总览页面分别从API和APP的视角,统计了相关度量数据。 以专享版为例,监控视图各项指标含义介绍如下: 图1 API视角数据统计 表1 API视角数据统计 分类 指标 说明
任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业
单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 审核API申请 在DataArts Studio控制台首页
任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业
任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业
成CDM集群与工作空间的关联。 注意,只有当CDM集群在关联了工作空间后,才能在所关联的工作空间中使用该CDM集群。 图2 关联工作空间 实时集成资源组关联工作空间 父主题: 购买并配置DataArts Studio