检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API调用者完成以上步骤后，可以进行API调用。 总览页面说明 在总览页用户可以看到丰富的监控数据视图。数据服务总览页面分别从API和APP的视角，统计了相关度量数据。 以专享版为例，监控视图各项指标含义介绍如下： 图1 API视角数据统计 表1 API视角数据统计 分类 指标 说明
“HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE
任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访客可以查看工作空间内的数据，但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者：企业
128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
在参数值文本框后方，单击，删除作业常量。 工作空间环境变量 查看工作空间已配置的变量和常量。 保存并提交作业版本。 单击“启动”，作业开始运行。 进入“作业监控 > 实时作业监控”页面，查看作业运行结果。 父主题： 数据开发进阶实践
配置的位点时间早于Binlog日志最早时间点时，默认会以日志最早时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图17 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节中对应链路文档进行排查及处理。
配置的位点时间早于CDC日志最早时间点时，默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节中对应链路文档进行排查及处理。
任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访客可以查看工作空间内的数据，但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者：企业
任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访客可以查看工作空间内的数据，但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者：企业
128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
cdm.4xlarge 64核 128GB 128 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
状态显示为“等待运行”。 补数据场景下，在补数据监控页面，补数据作业实例运行状态显示为“待确认执行”，可以在实例监控页面进行手动确认执行，单击“确认执行”后，补数据作业实例运行状态显示为“等待运行”。 批作业监控场景下，在批作业监控页面，作业实例运行状态显示为“待确认执行”，可以
及维护一站式数据解决方案，完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异，一站式满足从数据集成、数据清洗/转换、数据质量监控等全流程的数据处理，是数据治理实施的主战场。 数据质量 数据质量管理的目标在于保证数据满足使用的要求。数据标准是衡量数据质量最基本的基准。
枚举 选择HBase连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE
业务日期模式空间下，移动作业到翻牌目录时，系统会校验偏移量，偏移量一致才能移动成功，如果移动的作业为调度中且与翻牌目录下的作业存在进度偏差，系统会提示进度偏差，确认移动后，作业会通过追跑或等待运行的方式使作业进度达到一致。 父主题： （可选）管理作业
单线程flush的FileGroup的数量 > 50，推荐值30。 flush的并发数越大，flush时内存会响应升高，请结合实时处理集成作业内存监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在commit时，会进行分区扫描
单击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行情况。等待作业运行成功后，就能查看For Each节点生成的子作业实例，由于数据集中有6行数据，所以这里就对应产生了6个子作业实例。
间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。 分批配置迁移任务，保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。
补数据实例名称。 user_name 是 String 用户名称。 type 是 int 触发补数据的类型，取值范围[0, 1]。0代表作业监控界面触发的补数据，1代表恢复动作触发的补数据。 start_date 是 Long 作业的开始日期，13位时间戳。 end_date 是 Long
作业节点调度次数/天增量包： 不同版本的DataArts Studio实例，提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、数据质量监控作业和元数据采集作业的调度次数之和计算的，您可以在新商业模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
