检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如果需要转换源端字段内容,可在该步骤配置,详细请参见字段转换,这里选择不进行字段转换。 图6 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能:
TUMBLE, HOP 和 CUMULATE 上进行窗口聚合。 在流模式下,窗口表值函数的时间属性字段必须是事件时间或处理时间。关于窗口函数更多信息,参见 窗口表值函数(Windowing TVFs)。 在批模式下,窗口表值函数的时间属性字段必须是 TIMESTAMP 或 TIMESTAMP_LTZ
请求参数说明详情,请参见创建增强型跨源连接。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1下创建名称为test1的增强型跨源连接。 示例URL:POST https://{endpoint}/v2.0/48cc2c48765f481
ASYMMETRIC | SYMMETRIC ] value2 AND value3 BOOLEAN 默认或使用 ASYMMETRIC 关键字的情况下,如果 value1 大于等于 value2 且小于等于 value3 返回 TRUE。 使用 SYMMETRIC 关键字则 value1 在
'system_time_zone' 是 CST。 问题根因:在Mysql的time_zone是SYSTEM,system_time_zone是CST的情况下会造成bug。 CST在mysql里被理解为China Standard Time(UTC+8),但在 Java 里被理解为Central Standard
登录管理控制台。 单击左侧导航栏的图标,选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页,选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。
Flink相关依赖作用域请使用provided,即在依赖中添加<scope>provided</scope>。主要包含org.apache.flink组下以flink-开头的非Connector依赖。 Hadoop、Hive、Hudi、Mysql-cdc相关依赖,作用域请使用provided,
直接执行SQL操作。 登录DLI管理控制台。 在DLI管理控制台,选择“作业模板”>“SQL模板”>“样例模板”,在“tpchQuery”下找到“Q1_价格摘要报告查询”样例模板,单击操作列的“执行”进入“SQL编辑器”。 在“SQL编辑器”页面右侧的编辑窗口上方,“执行引擎”选
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析,将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到DWS中。 例如,输入如下样例数据:
从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析,将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到Elasticsearch中。
未购买套餐包,在按需计费模式下账户的余额不足。 欠费影响 包年/包月 对于包年/包月DLI资源。如队列或弹性资源池,用户已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月资源仍可正常使用。然而,对于涉及费用的操作,如新购资源、弹性资源池规格变更、续费订单等,用户将无法正常进行。 按需计费 当
子延迟、作业cpu和内存使用率查看。 仅支持Flink UI 多版本支持 支持不同作业使用不同Flink版本 单Flink集群仅支持单版本下的作业开发 易用性 即开即用,Serverless架构,跨AZ容灾能力。 用户仅编写SQL代码,无需编译,只需关心业务代码。 支持用户通过编
flink作业ID",查询指定的作业。 "groups.程序包组名",查询指定的程序包组。 "resources.程序包名",查询指定程序包。 说明: 查看分组下的程序包时,“object”的格式为"resources.程序包组名/程序包名"。 带入query参数的URL示例如下: GET /v1.0
使用华为云账户登录控制台。 通过“费用中心”>“费用账单”进入费用中心。 图1 费用账单 在“费用账单”界面,选择对应的“账期”,在“按产品汇总”下的搜索框下,选择“产品类型 > 数据湖探索DLI”。在消费汇总中可以发现DLI计算资源使用量消费最多。 图2 费用汇总 单击“账单详情 >
据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中
(2 rows) --如果匹配字符串中有字符与通配符冲突,可以指定转义字符来标识,示例为查询default这个schema下,table_name前缀为"t_" 的所有table,转义字符为"\": SHOW FUNCTIONS LIKE 'array\_%' escape
用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable.OpenTSDB/MRS
小时级的历史版本,这样的话近几个小时之内的增量数据可以通过log文件读出,如果保留时长过短,下游flink作业在重启或者异常中断阻塞的情况下,上游增量数据已经Clean掉了,flink需要从parquet文件读增量数据,性能会有下降;如果保留时间过长,会导致log里面的历史数据冗余存储。
DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 增强型跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。
用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable.OpenTSDB/MRS