检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业高可靠推荐配置指导（异常自动重启） 操作场景 本节操作介绍创建Flink作业时，配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。
Flink Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。
如果SQL语句中指定了表所在的数据库，则此处选择的数据库无效。 设置 包括设置“参数设置”和“标签”。 参数设置：以“key/value”的形式设置提交SQL作业的配置项。详细内容请参见《数据湖探索SQL语法参考》。 标签：以“key/value”的形式设置SQL作业的标签。 创建数据库和表。 您可以
本节操作指导您在DLI管理控制台配置DLI作业桶，并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置
增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 增强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 可在服务授权中进行设置。 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。
激活队列扩缩容定时任务。默认开启。如果关闭，则系统不会触发执行当前设置的定时规格变更任务。 有效期 设置执行定时任务的时间段。包括“日期”和“时间”。 说明： “有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容，在“有效期”结束之后，系统不会自动缩容，需要手动修改或设置缩容定时任务。反之亦然。即为单次执行定时扩缩容。
本节操作指导您在DLI管理控制台配置DLI作业桶，并获取SQL作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置
本节操作指导您在DLI管理控制台配置DLI作业桶，并查看Flink作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置
单字节，建议使用不可见字符，如\u0007。 db_obs_server 否 已在数据库中创建的外部服务器，如obs_server。 如何创建外部服务器，具体操作步骤可参考《数据仓库服务数据库开发指南》中创建外部服务器章节。 如果编码方式为orc格式时需指定该参数。 obs_dir 是 中间文件存储目录。格式为{桶名}/{目录名}，
单字节，建议使用不可见字符，如\u0007。 db_obs_server 否 已在数据库中创建的外部服务器，如obs_server。 如何创建外部服务器，具体操作步骤可参考《数据仓库服务数据库开发指南》中创建外部服务器章节。 如果编码方式为orc格式时需指定该参数。 obs_dir 是 中间文件存储目录。格式为{桶名}/{目录名}，
vpc网络，通过点对点的方式实现数据互通。 图1 增强型跨源连接配置流程 配置DLI队列与公网网络连通 通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 图2 配置DLI队列访问公网流程 父主题： 增强型跨源连接类
"job_type":"QUERY" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 请求成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： SQL作业相关API
disassociateQueueToConnection 修改主机信息 edsconnection updateHostInfo 添加路由 edsconnection addRoute 删除路由 edsconnection deleteRoute 创建批处理作业 jobs createBatch 取消批处理作业
该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时，服务器将要求所有客户端使用加密连接，这可以提高通信的安全性。 true spark.authenticate 该参数用于配置是否对Spark应用程序的组件进行身份验证。启用身份验证可以防止未授权的访问。这个参数可以设置为true来启用身份验证。 true
本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法。 Flink 1.15不再推荐使用DIS服务， 建议搭配DMS
服务以您的身份访问DEW服务。 图1 DLI云服务委托 DLI委托 在使用DLI前，为了确保正常使用DLI的功能，建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托：dli_admin_agency、dli_management_agency、dli_data_clea
除已有文件。 with_column_header 否 Boolean 导出csv和json格式数据时，是否导出列名。 设置为“true”，表示导出列名。 设置为“false”，表示不导出列名。 若为空，默认为“false”。 响应消息 表3 响应参数 参数名称 是否必选 参数类型
的权限或者收回使用权限。 用户所属的用户组需要在所属区域内具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。
异常检测应用场景相当广泛，包括了入侵检测，金融诈骗检测，传感器数据监控，医疗诊断和自然数据检测等。异常检测经典算法包括统计建模方法，基于距离计算方法，线性模型和非线性模型等。 我们采用一种基于随机森林的异常检测方法： One-pass算法，O(1)均摊时空复杂度。 随机森林结构仅构造一次，模型更新仅仅是节点数据分布值的更新。
异常检测应用场景相当广泛，包括了入侵检测，金融诈骗检测，传感器数据监控，医疗诊断和自然数据检测等。异常检测经典算法包括统计建模方法，基于距离计算方法，线性模型和非线性模型等。 我们采用一种基于随机森林的异常检测方法： One-pass算法，O(1)均摊时空复杂度。 随机森林结构仅构造一次，模型更新仅仅是节点数据分布值的更新。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
