检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud Secret Management Service，CSMS），对AKSK统一管理，有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。
source/sinks参数说明 参数名称 是否必选 参数类型 说明 name 否 String 输入流或输出流名称。 records 否 Long 总记录数。 corrupted_records 否 Long 脏数据记录数。 示例 请求样例 { "job_ids": [298765, 298766]
mRecordsOut Task发出的记录总数 flink_taskmanager_job_task_numRecordsOutPerSecond Task每秒发出的记录总数 flink_taskmanager_job_task_operator_numRecordsIn Operator收到的记录总数
审计与日志 DLI对接云审计服务 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
请求执行是否成功。“true”表示请求执行成功。 message String 无 请求示例 更新跨源认证的名称为rds3。 { "auth_info_name": "rds3" } 响应示例 { "is_success": true, "message": "Update
parquet-jackson-1.12.2.jar commons-text-1.10.0.jar jetty-io-9.4.41.v20210516.jar postgresql-42.3.5.jar commons-validator-1.7.jar jetty-rewrite-9.4.43.v20210629
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南
典型场景示例：迁移Hive数据至DLI 典型场景示例：迁移Kafka数据至DLI 典型场景示例：迁移Elasticsearch数据至DLI 典型场景示例：迁移RDS数据至DLI 典型场景示例：迁移DWS数据至DLI 父主题： 数据迁移与数据传输
DLI弹性资源池与队列简介 DLI的计算资源是执行作业的基础，本节内容介绍DLI计算资源的模式和队列类型。 什么是弹性资源池和队列？ 在了解DLI计算资源模式前首先了解弹性资源池和队列的基本概念。 弹性资源池是DLI计算资源的一种池化管理模式，可以看做DLI计算资源的集合。DLI
查询作业列表 功能介绍 查询当前用户的作业列表，可以根据作业ID作为ID，查询大于ID或小于ID的限定条数的作业，默认查询全部状态的作业，也可以设定运行中或其他状态条件。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{projec
Spark 3.3.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
管理Flink作业模板 Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板，方便后续可以直接调用或修改。 Flink模板管理主要包括如下功能： Flink SQL样例模板
Flink作业推荐配置指导 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2
查询作业详情 功能介绍 查看一个作业的详情信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
DLI Spark 2.3.2版本停止服务（EOS）公告 公告说明 华为云计划于2023年12月31 00:00（北京时间）将Spark 2.3.2版本停止服务（EOS）。 影响 DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
错误码 调用API出错后，将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时，HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系企业技术人员，并提供错误码，以便我们尽快帮您解决问题。
Flink作业如何保存作业日志？ 在创建Flink SQL作业或者Flink Jar作业时，可以在作业编辑页面，勾选“保存作业日志”参数，将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OB
Spark 2.4.5版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
DLI Spark 3.1.1版本停止服务（EOS）公告 公告说明 华为云计划于2024年12月31 00:00（北京时间）将Spark 3.1.1版本停止服务（EOS）。 影响 DLI Spark 3.1.1版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
查询模板列表 功能介绍 该API查询作业模板列表。当前只支持查询用户自定义模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
