检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1以下为OK,0.1到0.5为LOW,超过0.5则为HIGH。 时延 Source端会周期性地发送带当前时间戳的LatencyMarker,下游算子接收到该标记后,通过当前时间减去标记中带的时间戳的方式,计算时延指标。算子的反压状态和时延可以通过Flink UI或者作业任务列表查看,一般情况下反压和高时延成对出现:
步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。 步骤3:创建Elasticsearch搜索索引:创建Elasticsearch搜索索引用于接收结果数据。 步骤4:创建增强型跨源连接:DLI上创建连接Kafka和CSS的跨源连接,打通网络。 步骤5:运行作业:DLI上创建和运行Flink
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 >
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 状态码 状态码如表7所示。
输入“主题名称”和“显示名”。更多参数说明请参考SMN-创建主题。 在“主题名称”框中,输入主题名称,在“显示名”框中输入相关描述。 订阅主题。 要接收发布至主题的消息,您必须向该主题添加订阅者。 登录SMN管理控制台。 在左侧导航栏,选择“主题管理 > 主题”。进入主题页面。 在主题列表
步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建RDS MySQL数据库和表:创建RDS MySQL的数据库和表。 步骤3:创建DWS数据库和表:创建用于接收数据的DWS数据库和表。 步骤4:创建增强型跨源连接:DLI上创建连接RDS和DWS的跨源连接,打通网络。 步骤5:运行作业:DLI上创建和运行Flink
String exactly-once: 记录只传送一次,在故障转移方案下也是如此。如果要生成完整的exactly-once管道,需要源和接收器支持exactly-once,并且已正确配置。 at-least-once: 确保传递记录,但可能会多次传递同一记录。通常,这种比exactly-once模式更快。
"message": "" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 201 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(废弃)
] } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 获取成功。 400 请求失败。 404 未发现。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表4 错误码 错误码 错误信息 DLI
"ACTIVE" } ] } 状态码 状态码如表9所示。 表9 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 增强型跨源连接相关API
PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12'
准备一个linux弹性云服务器ECS,用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。
步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建RDS Postgres数据库:创建RDS Postgres的数据库和表。 步骤3:创建DWS数据库和表:创建用于接收数据的DWS数据库和表。 步骤4:创建增强型跨源连接:DLI上创建连接RDS和DWS的跨源连接,打通网络。 步骤5:运行作业:DLI上创建和运行Flink
务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time 接收到鉴权请求的时间。 说明: 以“ISO 8601”格式表示,例如:2012-11-11T23:59:59Z。 g:MFAPresent 全局级
Jar作业 结果校验。 作业处于运行中状态时,向DIS的source通道发送数据,验证DIS的sink通道能否收到数据。发送和接受都有字节数证明接收到数据。 图5 查看校验结果 JAVA样例代码 DIS Flink Connector相关依赖 <dependency>
] } 状态码 状态码如表5所示。 表5 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(推荐)
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为:jdbc:dli://<endPoi
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION:分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
创建DLI委托(废弃) 功能介绍 该API用于创建DLI用户委托。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2/{project_id}/agency 参数说明 表1 URI参数 参数名称 是否必选 参数类型
用户不需要管理任何服务器,即开即用。 DLI支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。