检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
的次数，但可能导致单次请求时长增加，同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载， 适当调整该值。 父主题： 任务性能调优
可以适当调高每次获取的数据量，以提高性能。 目的端优化 OBS写入优化 若开启了自动合并可尝试关闭，否则请优先增加并发解决。 父主题： 任务性能调优
定程度会影响实时任务的写入性能，为了保证Migration作业的稳定性可以考虑设置为false关闭compaction操作，将Hudi Compaction单独拆成Spark作业交由MRS执行，具体可以参考如何配置Hudi Compaction的Spark周期任务？。 compaction
定程度会影响实时任务的写入性能，为了保证Migration作业的稳定性可以考虑设置为false关闭compaction操作，将Hudi Compaction单独拆成Spark作业交由MRS执行，具体可以参考如何配置Hudi Compaction的Spark周期任务？。 compaction
查询未进行静态脱敏任务的表信息 功能介绍 查询未进行静态脱敏任务的表信息 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/masking-result 表1 路径参数 参数 是否必选 参数类型 描述 project_id
定程度会影响实时任务的写入性能，为了保证Migration作业的稳定性可以考虑设置为false关闭compaction操作，将Hudi Compaction单独拆成Spark作业交由MRS执行，具体可以参考如何配置Hudi Compaction的Spark周期任务？。 compaction
运维者 访客 查询数据源数据 Y Y Y N 操作任务实例 Y Y Y N 查询任务实例 Y Y Y Y 新建采集任务 Y Y N N 删除采集任务 Y Y N N 操作采集任务 Y Y Y N 查询采集任务 Y Y Y Y 编辑采集任务 Y Y N N 编辑审批单 Y Y N N 编辑资产报告
每次获取的数据量，以提高性能。 目的端优化 Kafka写入优化 Kafka写入通常速率极快，若有阻塞的场景请优先增加并发解决。 父主题： 任务性能调优
的次数，但可能导致单次请求时长增加，同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载， 适当调整该值。 父主题： 任务性能调优
管理中心 DataArts Studio支持连接哪些数据源？ 创建数据连接需要注意哪些事项？ DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？
数据管理流程 数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。
支持使用变量和函数。 作业开发 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL、Shell等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
调度作业：配置作业调度任务。具体请参见调度作业。 如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务（批处理作业）。 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。
HDFS连接 介绍 通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":
事件。 事件类型： 出错：任务运行失败。 变慢：任务本次运行时间相比过去一段时间内的平均运行时间明显变长。 如果一个任务先变慢、再出错，会生成两个事件。 事件状态： 新发现：基线监控的任务产生变慢或者失败。 已恢复：超过基线任务的承诺完成时间，但基线任务最终完成。 处理中：基线运行产生的该条事件正在处理中。
的待审批任务。您可以通过“查看详情”操作，查看当前任务相比上一版本的修改点。 如有问题，可以通过“撤销”驳回发布任务。由开发者修改后重新提交发布任务，再度进行审批。 确认发布任务没有问题后，请通过“发布”操作，将任务审批通过。 图1 审批发布 成功发布之后，您可以查看任务的发布状
新建一个业务场景 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例，介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”，如下图所示。
新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业 父主题： 数据开发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
