检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启Kerberos认证时的相关配置文件 参考《从零开始使用Kerberos认证集群》中的“创建安全集群并登录其Manager”章节创建Kerberos认证集群。参考“创建角色和用户”章节添加用户并赋权。 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。
使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认
500.6 | +------------+ 与group by配合使用,对所有商品按照仓库(warehourseId)进行分组,并计算同组商品库存(items)的 0.5 百分位。命令示例如下: select warehourseId, percentile(items
fail String 对Elasticsearch请求失败时的故障处理策略。有效的策略是: fail: 如果请求失败并因此导致作业失败,则抛出异常。 ignore: 忽略失败并丢弃请求。 retry-rejected:重新添加由于队列容量饱和而失败的请求。 自定义类名:用于使用Acti
使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认
准备Spark Jar作业程序包并上传至OBS。 步骤2:创建弹性资源池并添加队列 创建提交Spark Jar作业所需的计算资源。 步骤3:使用DEW管理访问凭证 跨源分析场景中,使用DEW管理数据源的访问凭证,并创建允许DLI访问DEW的委托。 步骤4:创建自定义委托允许DLI访问DEW读取凭证
所有算子反压都正常(绿色),但存在数据堆积 该场景说明性能瓶颈点在Source,主要是受数据读取速度影响,此时可以通过增加Kafka分区数并增加source并发解决。 作业一个算子反压高(红色),而其后续的多个并行算子都不存在反压(绿色) 该场景说明性能瓶颈在Vertex2或者V
选择“增强型跨源”,单击“创建”。 配置增强型跨源连接信息,详细参数介绍请参见表2。 表2 参数说明 参数 参数说明 连接名称 所创建的跨源连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 弹性资源池 可选参数,用于绑定使用跨源连接的弹性资源池或队列。 仅包周期和按需计费模式的专属队列支持绑定弹性资源池。
521 | +------------+ 与group by配合使用,对所有商品按照仓库(warehourseId)进行分组,并计算同组商品库存(items)的 0.5 百分位,精确度100。命令示例如下: select warehourseId, PERCENTILE_APPROX(items
弹性资源池:选择步骤1:创建弹性资源池并添加通用队列创建的弹性资源池。 虚拟私有云:选择步骤2:创建虚拟私有云和安全组创建的虚拟私有云。 步骤4:注册ModelArts自定义镜像 基于ModelArts提供的MindSpore预置镜像,并借助ModelArts命令行工具,通过加载镜像构建模板并修改Dock
支持类别 类别 详情 支持表类型 结果表 前提条件 该场景作业需要运行在DLI的独享队列上。 该场景需要与ClickHouse建立增强型跨源连接,并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
通过增强型跨源连接建立DLI弹性资源池与RDS实例的网络连通。 步骤7:使用DEW管理访问凭据,并配置允许DLI访问DEW的委托 跨源分析场景中,使用DEW管理数据源的访问凭证,并创建允许DLI访问DEW的委托。 步骤8:创建Flink OpenSource SQL作业 准备好数据源和数据输出通道后创建Flink
本例以通过DataGen表产生随机数据并输出到Mysql结果表中为例,介绍Flink Opensource SQL使用DEW管理访问凭据的配置方法。 创建DLI与Mysql的增强型跨源连接。详细步骤请参考创建增强型跨源连接。 创建DLI访问DEW的委托并完成委托授权。详细步骤请参考自定义DLI委托权限。
使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认
numeric 次幂。 CEIL(numeric) CEILING(numeric) 向上取整,并返回大于或等于 numeric 的最小整数。 FLOOR(numeric) 向下取整,并返回小于或等于 numeric 的最大整数。 SIN(numeric) 返回 numeric 的正弦值。
QL会在查询中自动检测并删除那些不满足WHERE子句条件的分区,适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。
rless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自
关于赋权的具体操作请参考《数据湖探索用户指南》。 操作步骤 在使用JDBC的机器中安装JDK,JDK版本为1.7或以上版本,并配置环境变量。 参考下载并安装JDBC驱动包章节,获取DLI JDBC驱动包“huaweicloud-dli-jdbc-<version>.zip”,解
V对,并使用string3分隔每个K-V对,组装成MAP返回 string2默认为',' string3默认为'=' SUBSTR(string[, integer1[, integer2]]) STRING 截取从位置integer1开始,长度为integer2的子串,并返回
弹性资源池模式的通用队列和SQL队列不支持跨可用区。 使用方法:先创建弹性资源池,然后在弹性资源池中创建队列并分配计算资源,队列关联到具体的作业和数据处理任务。 购买弹性资源池并在弹性资源池中添加队列的具体操作步骤请参考创建弹性资源池并添加队列。 全局共享模式: 全局共享模式是一种根据SQL查询中实际扫描的数据