检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（可选）如需要将质量作业中不符合设定规则的异常数据存储在异常表中，可以打开“异常数据输出配置”开关。 图6 异常数据输出开关 单击开关，并打开“生成异常数据”按钮，表示异常数据将按照配置的参数存储到规定的库中。 图7 异常数据输出配置 各参数具体含义如下： 数据库或Schema：表示存储异常数据的数据库或Schema。
在“通知管理”页签，单击“通知配置”，弹出“通知配置”页面，配置如表1所示的参数。 图1 通知配置 表1 通知参数 参数 是否必选 说明 作业范围 是 选择通知的范围： 单个作业：对单个作业发送通知。 所有作业：对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称
修改集群 功能介绍 修改CDM集群配置。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/cluster/modify/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
进行数据开发配置，比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。 开发环境：所有操作 生产环境：只读操作 部署：增加了打包、查看发布项、查看发布项列表、查看发布包内容 环境信息配置：只读操作 部署者 无 查看发布包 查看发布项列表 发布包：只有部署者和管理者可以操作
环境变量、作业参数、脚本参数有什么区别和联系？ 打不开作业日志，返回404报错？ 配置委托时获取委托列表失败如何处理？ 数据开发创建数据连接，为什么选不到指定的周边资源？ 配置了SMN通知，却收不到作业失败告警通知？ 作业配置了周期调度，但是实例监控没有作业运行调度记录？ Hive SQL和Spark
数据科学家、数据开发人员为主 业务分析师为主 华为智能数据湖方案 华为数据使能服务DAYU，为大型政企客户量身定制跨越孤立系统、感知业务的数据资源智能管理解决方案，实现全域数据入湖，帮助政企客户从多角度、多层次、多粒度挖掘数据价值，实现数据驱动的数字化转型。 DAYU的核心主要是华为智能数据湖Fusion
"ecs:servers:get", "ecs:servers:list", "ecs:servers:stop", "ecs:servers:start", "ecs:flavors:get"
sink.buffer-flush.max-size int 512 DWS单次写入的数据大小，默认为512MB，可在“目的端配置”高级配置中配置。 当缓存的数据达到数据大小限制时，触发数据写入。 与批写最大数据量类似，单次写入大小增大可以减少请求DWS的次数，但可能导致单次
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
该指标为从物理机层面采集的磁盘使用率，数据准确性低于从弹性云服务器内部采集的数据。 单位：%。 0.001%~90% CDM集群实例 1分钟 disk_io 磁盘io 该指标为从物理机层面采集的磁盘每秒读取和写入的字节数，数据准确性低于从弹性云服务器内部采集的数据。 单位：Byte/sec 0~10GB
Kerberos：安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值 父主题： 连接参数说明
Studio实例控制台 前提条件 请参见购买DataArts Studio基础包，确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台，在左上角的服务列表中选择“数据治理中心DataArts Studio”，进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts
拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属
Hudi表属性全局配置：单击“查看编辑”配置Hudi表属性全局配置。 “Hudi全局配置”作用于所有Hudi表，可配置的Hudi配置项参考Hudi官网介绍。 “Hudi全局配置”优先级低于单表“表属性编辑”中的配置，存在相同配置项时会被覆盖。 源表与目标表映射： 图6 配置源表与目标表映射
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？ 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
分库分表场景 源端配置。 Kafka配置。 数据格式：支持的数据格式。 目前支持JSON、CSV、TEXT格式。 消费组ID：由用户指定，标识当前实时处理集成作业的消费组。 当迁移作业消费DMS Kafka集群某一Topic的消息后，在Kafka集群的“消费组管理”可以看到此处配置的消费组
ED。 全局高级配置：单击查看编辑，配置高级属性。 auto-compaction：数据会先被写入临时文件，当checkpoint完成后，该配置控制检查点产生的临时文件是否被合并。 源表与目标表映射： 图3 配置源表与目标表映射 单表高级配置：单击“单表高级配置”为列表中的topic配置对应属性。
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。
图2 通用限定 告警配置 由衍生指标和表达式组成，表达式由告警参数和逻辑运算符组成。在指标运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。 参数配置完成后，单击“预览”，可以
带宽大小 可配置公网带宽范围。 虚拟私有云 DataArts Studio实例中的数据服务专享版集群所属的VPC、子网、安全组。 在相同VPC、子网、安全组中的云服务资源（如ECS），可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的V
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
