检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与公网网络连通 操作场景 公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址,配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导,介绍如何通过设置SNAT规则和配置路由信息,实现DLI服务与公网的网络连接。 操作流程 图1 配置DLI队列访问公网流程
Prometheus监控的配置项 参数 是否必选 默认值 数据类型 默认值 说明 metrics.reporter.remote.class 是 无 String com.huawei.flink.metrics.prometheus.remote.PrometheusRemoteReporter metric
”分隔,包括对应metric下所有tagk的值。 注意事项 创建DLI表时,不需要指定timestamp和value字段,系统会根据指定的tags自动构建字段,包含以下字段,其中TAG1和TAG2由tags指定。 TAG1 String TAG2 String timestamp Timestamp
如果只设定扩容或者缩容,只需创建一个弹性扩缩容定时任务。设定“任务名称”、“最终CUs”和“执行时间”即可,具体请参考表1。 如果需要同时设定扩容和缩容,则需要创建两个弹性扩缩容定时任务,分别设定扩容和缩容的“任务名称”、“最终CUs”和“执行时间”,具体请参考表1。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理
不支持高可靠与高可用。 不支持设置队列属性和作业优先级。 不支持对接Notebook实例。 标准版:提供64CUs及以上规格的资源 具备强大的计算能力、高可用性、及灵活的资源管理能力,适用于大规模计算任务场景和有长期资源规划需求的业务场景。 CU范围 弹性资源池最大最小CU范围。
"paths": [ "https: //test.obs.xxx.com/test_dli.jar", "https://test.obs.xxx.com/dli_tf.py" ], "group": "gatk" } 响应示例
Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS
main > java”文件夹上鼠标右键,选择“New > Package”,新建Package和类文件。 图6 新建Package和类文件 Package根据需要定义,本示例定义为:“com.huawei.demo”,完成后回车。 图7 自定义Package 在包路径下新建Java
arbitrary(x) 描述:返回类型和X 一样,返回X的任意一个非null值。 select arbitrary(price) from fruit;-- 5 array_agg(x) 描述:返回由输入的x字段构成的数组,元素类型和输入字段一样。 select array_agg(price)
选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”,配置凭据基本信息 凭据名称:待创建凭据的名称。本例名称为secretInfo。 凭据值:配置RDS实例的用户名和密码。 第一行凭据值的键为MySQLUsername,值为RDS实例的用户名。 第二行凭据值的键为MySQLPassword,值为RDS实例的密码。
应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单击“测试”测试参数是否配置无误,“测
VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 VPC本身不收取费用。 但如有互联网访问需求,您需要购买弹性公网IP。弹性公网IP提供“包年/包月”和“按需计费”两种计费模式。 了解VPC计费说明。 DMS Kafka
数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。
创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,可以使用DWS提供的"JDBC连接字符串(内网)",或者内网地址和内网端口访问,格式为"协议头://内网IP:内网端口/数据库名",例如:"jdbc:postgresql://192.168.0.77:8000/postgres"。
date2) -> double 返回date1和date2之间的月数,如果date1比date2迟,结果就是正数,那么结果就是负数;如果两个日期的日数相同,那么结果就是整数,否则按照每月31天以及时分秒的差异来计算小数部分。date1和date2的类型可以是date,timesta
-syntax为fields和map有什么区别? A:当schema-syntax为fields时,会将Redis的key中hash值赋给flink中同名相应字段;当schema-syntax为map时,会将Redis的每个hash中的hashkey和hashvalue放入一个m
-syntax为fields和map有什么区别? A:当schema-syntax为fields时,会将Redis的key中hash值赋给flink中同名相应字段;当schema-syntax为map时,会将Redis的每个hash中的hashkey和hashvalue放入一个m
弹性资源池上可以添加多个不同队列用于作业运行,具体添加弹性资源池添加队列的操作可以参考创建弹性资源池并添加队列。添加完队列后,可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数,从而来保障作业的稳定运行。 注意事项 建议对流批业务实施资源池的精细化管理,将Flink实时流类型的作业与
[{FROM | IN} db_name]; 关键字 COLUMNS:表中的列。 FROM/IN:指定数据库,显示指定数据库下的表的列名。FROM和IN没有区别,可替换使用。 参数说明 表1 参数说明 参数 描述 table_name 表名称。 db_name 数据库名称。 注意事项 所
持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。 DLI队列不支持访问公网。 队列扩缩容 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 新创建的队列需要运行作业后才可进行扩缩容。 创建队列步骤 创建队列的操作入口有三个,分别在“