检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 414 Request-URI Too Large 请求的U
低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业:提交作业时可以使用DLI提供的标准的连接器(connectors)和丰富的API,快速与其他数据系统的集成。 Flink Jar作业:允许用户提交编译为Jar包的Flink作业,提
datasource v2 tables is only supported in spark3.3 or later version.”怎么办? 使用default创建DataSource表时引擎版本不低于Spark 3.3.1,如果引擎版本低于Spark 3.3.1则会提示上
添加Python包后,找不到指定的Python环境 添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新
xxx/dli-public/spark_general-x86_64:3.3.1-2.3.7.1720240419835647952528832.202404250955 连接容器镜像服务。 登录SWR管理控制台。 选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。 在安装容
返回"This is a test String." REPEAT(string, integer) STRING 返回integer个string连接后的字符串 例如REPEAT('This is a test String.', 2) 返回"This is a test String.This
提交SQL作业时,返回“unsupported media Type”信息 在DLI提供的REST API中,可以在请求URI中附加请求消息头,例如:Content-Type。 “Content-Type”为消息体的类型(格式),默认取值为“application/json”。 提交SQL作业的URI为:POST
'datagen' ); 参数说明 表2 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 number-of-rows
返回"This is a test String." REPEAT(string, integer) STRING 返回integer个string连接后的字符串 例如REPEAT('This is a test String.', 2) 返回"This is a test String.This
RENAME COLUMN 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('delta
(1 row) array_join(x, delimiter, null_replacement) → varchar 描述:使用分隔符来连接给定数组x的元素,并用可选字符替换x中的null值。 select array_join(array[1,2,3,null,5,6],'|'
则将会为每个分区创建一个目录。 WITH OPTIONS 表属性用于创建 table source/sink ,一般用于寻找和创建底层的连接器。 表达式 key1=val1 的键和值必须为字符串文本常量。 注意: 使用 CREATE TABLE 语句注册的表均可用作 table source
则将会为每个分区创建一个目录。 WITH OPTIONS 表属性用于创建 table source/sink ,一般用于寻找和创建底层的连接器。 表达式 key1=val1 的键和值必须为字符串文本常量。 注意: 使用 CREATE TABLE 语句注册的表均可用作 table source
则将会为每个分区创建一个目录。 WITH OPTIONS 表属性用于创建 table source/sink ,一般用于寻找和创建底层的连接器。 表达式 key1=val1 的键和值必须为字符串文本常量。 注意: 表名可以为以下三种格式 1. catalog_name.db_name
datasourceauth DLI跨源认证信息 datasourceauth.name edsconnections DLI增强跨源 edsconnections.连接ID 特定资源: 图2 特定资源 所有资源: 指该服务下的所有资源 图3 所有资源 将上述的所有字段拼接为一个json就是一个完整的策略了
Formats在每次创建Checkpoint时进行滚动,并且用户也可以添加基于大小或者时间等的其他条件。更多信息参考文件系统 SQL 连接器 在STREAMING模式下使用FileSink需要开启Checkpoint功能。Part文件只在Checkpoint成功时生成。如果没有
相关信息。 跨源场景 DLI Datasource Connections Agency Access 访问和使用VPC、子网、路由、对等连接的权限 运维场景 DLI Notification Agency Access 作业执行失败需要通过SMN发送通知消息的权限 dli_ma
使用Spark作业访问DLI元数据 操作场景 DLI支持用户编写代码创建Spark作业来创建数据库、创建DLI表或OBS表和插入表数据等操作。本示例完整的演示通过编写java代码、使用Spark作业创建数据库、创建表和插入表数据的详细操作,帮助您在DLI上进行作业开发。 该功能公
instr1 instr1函数用于计算子串str2在字符串str1中的位置。 相似函数:instr,instr函数用于返回substr在str中最早出现的下标。但是instr不支持指定起始搜索位置和匹配次数。 命令格式 instr1(string <str1>, string <str2>[
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标,AOM Prometheus支持免费存储基础指标。 除基础指标外,AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标