检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据。Flink作业可通过DIS的source源将数据从生产者快速移出，进行持续处理，适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管
数据。Flink作业可通过DIS的source源将数据从生产者快速移出，进行持续处理，适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管
异常检测 异常检测应用场景相当广泛，包括了入侵检测，金融诈骗检测，传感器数据监控，医疗诊断和自然数据检测等。异常检测经典算法包括统计建模方法，基于距离计算方法，线性模型和非线性模型等。 我们采用一种基于随机森林的异常检测方法： One-pass算法，O(1)均摊时空复杂度。 随机
异常检测 异常检测应用场景相当广泛，包括了入侵检测，金融诈骗检测，传感器数据监控，医疗诊断和自然数据检测等。异常检测经典算法包括统计建模方法，基于距离计算方法，线性模型和非线性模型等。 我们采用一种基于随机森林的异常检测方法： One-pass算法，O(1)均摊时空复杂度。 随机
Truststore密码 truststore密码。 Keystore路径 上传SSL KEYSTORE(密钥和证书)文件的OBS路径。 Keystore密码 keystore(密钥和证书)密码。 Key密码 keystore中的私钥密码。 图1 创建认证信息-Kafka_SSL 访问开启SASL_SSL认证的Kafka。
数据。Flink作业可通过DIS的source源将数据从生产者快速移出，进行持续处理，适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管
数据。Flink作业可通过DIS的source源将数据从生产者快速移出，进行持续处理，适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管
据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例，具体步骤可参考：RDS MySQL快速入门。本示例创建的RDS
中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。 本示例通过创建PostgreSQL CDC源表来监控Postgres的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS Postgres实例。本示例创建的RDS Postgres数据库版本选择为：11。
图1 作业监控 Flink 作业包含如下监控指标。 表4 Flink作业监控指标 指标名称 说明 Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。单位：条/秒。 Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。单位：条/秒。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台，在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业，单击“创建告警规则”。 图6 云服务监控 图7 创建告警规则 DLI 为Flink作业提供了丰富的监控指标，用户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。
选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台，在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业，单击“创建告警规则”。创建警告规则具体步骤请参考《创建告警规则》。 DLI 为Flink作业提供了丰富的监控指标，用户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。
的相关章节。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DLI服务时，如果触发了监控列表中的关键操作，那么CTS会在记录操作日志的同时，向相关订阅者实时发送通知。 DLI的作业日志 在创建DLI
ssl", "true") 如果CSS安全集群开启了HTTPS访问，此处需要设置为“true”，并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问，此处需要设置为“false”，则不需要设置后面安全证书、文件地址等参数。 .option("es.net
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。
不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。 使用CTS审计DLI服务
2、TLS1.3进行传输中加密，所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下，并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项
Flink作业相关API（废弃） 查询作业监控信息（废弃） OBS授权给DLI服务 父主题： 历史API
停止计费 包年/包月资源 对于包年/包月计费模式的资源，例如包年/包月的弹性资源池、包年/包月的队列等，用户在购买时会一次性付费，服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源，您可以执行退订操作，系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
