检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建一个质量作业 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定
据开发和数据集成等组件的操作权限。 成员和角色 成员是被授予工作空间访问或使用权限的华为账号。在添加工作空间成员时，您需要同时为添加的成员设置相应的角色。 角色是一组操作权限的集合。不同的角色拥有不同的操作权限，把角色授予成员后，成员即具有了角色的所有权限。每位成员至少要拥有一个角色，并且可以同时拥有多种角色。
状态显示为“等待运行”。 补数据场景下，在补数据监控页面，补数据作业实例运行状态显示为“待确认执行”，可以在实例监控页面进行手动确认执行，单击“确认执行”后，补数据作业实例运行状态显示为“等待运行”。 批作业监控场景下，在批作业监控页面，作业实例运行状态显示为“待确认执行”，可以
20150907T101459Z Host 请求的服务器信息，从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口，https的默认端口为443。 使用AK/SK认证时必选。 code.test.com or code.test.com:443 X-Project-Id
通过SDK调用API前，需要获取如下认证信息： 访问服务前，首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面，单击API名称，在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API，您必须提供有效的AppKey、AppSecret才能够生成认证签名。
基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如：sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间，单位毫秒。 默认值为：600000。 KMS密钥 是 通过KMS加
数据。 时间 增量同步需要设置该参数，指示增量同步起始的时间位点。 说明： 配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。
0/19），使其可以访问数据库监听端口。 通用添加安全组规则方法：打开数据源服务界面，进入用户集群，找到网络部分，单击安全组，跳转到安全组编辑页面，单击入方向规则，添加规则。可参考如下示例放通资源组网段。 优先级 策略 类型 协议端口
单击“测试运行”，执行该脚本作业。 待测试完成，执行“提交”。 在“作业监控”界面，查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。（没设置返回可跳过） 图7 查看OBS桶返回记录 案例二：通过MRS Spark
仅对脚本中未设置上述参数值的情况下生效，如脚本中已设置此参数值，则优先以读取人工设置的值传递至MRS。特别提醒：如MRS集群是安全模式，则不支持此设置方式，需提前将集群设置为非安全模式。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“作业运行自动传递脚本名称”配置项。
Cluster：表示集群部署。 Proxy：表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码 连接Redis的密码。 - Redis数据库索引
同步模式选择增量同步和起止时间时需要设置该参数，指示增量同步起始的时间位点。 说明： 配置的位点时间早于数据源增量日志最早时间点时，默认会以日志最新时间点开始消费。 配置的位点时间早于Kafka消息最早偏移量时，默认会从最早偏移量开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前
数据质量模块支持对业务指标和数据质量进行监控，数据质量可检验，帮助用户及时发现数据质量问题。 已发布区域：全部 业务指标监控 数据质量监控 业务指标监控 业务指标监控是对业务指标数据进行质量管理的有效工具，可以灵活的创建业务指标、业务规则和业务场景，实时、周期性进行调度，满足业务的数据质量监控需求。 业务指标监控
CDM集群的内网IP获取方式请参见查看并修改CDM集群配置。 端口 是 主机的SSH端口号。 Linux操作系统主机的默认登录端口为22，如有修改可通过主机路径“/etc/ssh/sshd_config”文件中的port字段确认端口号。 KMS密钥 是 通过KMS加解密数据源认证信息，选
Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。 20009 用户名 登录FusionInsight Manager平台的用户名。
加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组，则还需要增加入方向规则，放通Migration资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Mi
加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组，则还需要增加入方向规则，放通Migration资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Mi
性能调优概述 实时处理集成作业各链路如果出现时延持续增长、反压高企或同步速率过慢（查看作业监控指标速率不符合实时集成作业提供的性能规格）等情况，需要考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，导致源端
Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。 20009 用户名 登录FusionInsight Manager平台的用户名。
10。 下载端口映射工具IPOP，在网关机上安装IPOP。 运行端口映射工具，选择“端口映射”，如图2所示。 本地地址、本地端口：配置为网关机的公网地址和端口（后续在CDM上创建MySQL连接时输入这个地址和端口）。 映射地址、映射端口：配置为内网MySQL的地址和端口。 图2 配置端口映射
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
