检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
十进制函数和操作符 DECIMAL 字面量 可以使用 DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义 DECIMAL 类型的字面量。 DECIMAL 类型的字面量精度将等于字面量(包括尾随零和前导零)的位数。范围将等于小数部分(包括尾随零)的位数。 示例字面量 数据类型
创建DLI表关联RDS 功能描述 使用CREATE TABLE命令创建DLI表并关联RDS上已有的表。该功能支持访问RDS的MySQL集群和PostGre集群。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。
string2[, string3]) 从 URL 返回指定的部分。string2 的有效值包括“HOST”,“PATH”,“QUERY”,“REF”,“PROTOCOL”,“AUTHORITY”,“FILE”和“USERINFO”。 如果有任一参数为 NULL,则返回 NULL。 例如 parse_url('
显示所有角色和用户的绑定关系 功能描述 在当前database显示角色与某用户的绑定关系。 语法格式 1 SHOW PRINCIPALS ROLE; 关键字 无。 注意事项 变量ROLE必须存在。 示例 1 SHOW PRINCIPALS role1; 父主题: 数据权限相关
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)
properties.bootstrap.servers 是 无 string Kafka Broker地址。格式为:host:port,host:port,host:port,以英文逗号(,)分隔。 format 是 无 string Flink Kafka Connector在
0/16,单击“确定”完成安全组规则添加。 Kafka和DWS实例属于同一VPC和子网下? 是,执行7。Kafka和DWS实例在同一VPC和子网,不用再重复创建增强型跨源连接。 否,执行5。Kafka和DWS实例分别在两个VPC和子网下,则要分别创建增强型跨源连接打通网络。 登录D
参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。匹配规则为:^(?!_)(?!
二进制函数和运算符 二进制运算符 || 运算符执行连接。 二进制函数 length(binary) → bigint 返回binary的字节长度。 select length(x'00141f');-- 3 concat(binary1, ..., binaryN) → varbinary
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况? 怎样判断当前DLI队列中的作业是否有积压? 怎样查看DLI队列负载? 怎样监控DLI队列上的作业异常? 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败,提示超时异常怎么办?
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”计划于2024年3月31日 00:00(北京时间)停止销售(EOM)。 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”计划于2025年6月30日 00:00(北京时间)下线(EOL)。 影响
通过下载DLI提供的基础镜像再按需制作自定义镜像,将作业运行需要的依赖(文件、jar包或者软件)、私有能力等内置到自定义镜像中,以此改变Spark作业和Flink作业的容器运行环境,增强作业的功能、性能。 例如,在自定义镜像中加入机器学习相关的Python包或者C库,可以通过这种方式帮助用户实现功能扩展。
1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需的CUs,取两者中的最大值作为Executor 或driver所需的CU数。 图2 查看Spark作业所需CUs数 父主题: DLI弹性资源池和队列类
上传Jar包到OBS和DLI OBS控制台 DLI控制台 将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。 7 创建Spark Jar作业 DLI控制台 在DLI控制台创建Spark Jar作业并提交运行作业。 8 查看作业运行结果 DLI控制台 查看作业运行状态和作业运行日志。
'CC') 返回"AABBCC" CONCAT_WS(string1, string2, string3,...) STRING 返回将每个参数和第一个参数指定的分隔符依次连接到一起组成的字符串。若string1是null,则返回null。若其他参数为null,在执行拼接过程中跳过取值为null的参数
'CC') 返回"AABBCC" CONCAT_WS(string1, string2, string3,...) STRING 返回将每个参数和第一个参数指定的分隔符依次连接到一起组成的字符串。若string1是null,则返回null。若其他参数为null,在执行拼接过程中跳过取值为null的参数
参考增强型跨源连接,在DLI上根据ClickHouse和Kafka集群所在的虚拟私有云和子网分别创建跨源连接,并绑定所要使用的Flink弹性资源池。 设置ClickHouse和Kafka集群安全组的入向规则,使其对当前将要使用的Flink作业队列网段放通。参考测试地址连通性根据ClickHouse和Kafka的地址测
删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? 问题场景 A用户通过SQL作业在某数据库下创建了表testTable,并且授权testTable给B用户插入和删除表数据的权限。后续A用户删除了表testTable,并重新创建了同名的表testTable,如果希望B用户继续保留插入和删除表test
初步认识华为云数据湖探索,了解数据湖探索的基本功能、应用场景、基本概念和使用限制,有助于您更准确地匹配实际业务。 产品介绍 什么是DLI 应用场景 使用限制 与其他云服务的关系 03 入门 购买DLI队列后,您可以运行SQL作业和Spark作业,开启您的数据湖探索使用之旅。 使用前须知 准备工作
Jar作业:允许用户提交编译为Jar包的Flink作业,提供了更大的灵活性和自定义能力。适合需要自定义函数、UDF(用户定义函数)或特定库集成的复杂数据处理场景。可以利用Flink的生态系统,实现高级流处理逻辑和状态管理。 Spark作业 Spark作业是指用户通过可视化界面和RESTful API提交的作业,支持提交Spark