检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
40的宽度传递给此函数。将绘制一个10个字符的红色条形,后跟30个空格,以创建一个40个字符的条形。 bar(x, width, low_color, high_color) 描述:在ANSI条形图中以指定宽度绘制一条直线。参数x是0到1之间的一个双精度值。x的值超出[0,1]范
imeLine里生成一个Compaction Plan,这个Compaction Plan会记录哪些parquet文件将会与哪些log文件进行合并,但是仅仅是一个Plan,没有去合并。Run过程会将TimeLine里的所有Compaction Plan一个一个去执行,一直到全部都执行完。
VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 VPC本身不收取费用。 但如有互联网访问需求,您需要购买弹性公网IP。弹性公网IP提供“包年/包月”和“按需计费”两种计费模式。 了解VPC计费说明。 DMS Kafka
UUID函数 使用该函数产生一个伪随机的唯一通用标识符。 select uuid(); 父主题: SQL函数和操作符
NOT EXISTS] function_name AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数 语法说明 IF NOT EXISTS 若该函数已经存在,则不会进行任何操作。 LANGUAGE JAVA|SCALA Language
是LITERAL的时候,指定字符串常量替换 Map 中的空 key 值。 示例 该示例是从kafka的一个topic中读取数据,并使用kafka sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安
CREATE FUNCTION语句 功能描述 创建一个有 catalog 和数据库命名空间的 catalog function ,需要指定一个 identifier ,可指定 language tag 。 若catalog 中,已经有同名的函数注册了,则无法注册。如果 language
thread-num 来配置线程号。默认值为 3,配置的值应大于 0。 Key Default Type Description table.exec.hive.load-partition-splits.thread-num 3 Integer 配置的值应大于0。 SQL 提示可用于将配置应用于
venshtein('kitten','sitting') =3。 Levenshtein距离,是编辑距离的一种。指两个字串之间,由一个转成另一个所需的最少编辑操作次数。 命令格式 levenshtein(string A, string B) 参数说明 表1 参数说明 参数 是否必选
false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“t
Java SDK版本说明。 方法一:通过Maven安装DLI SDK依赖 推荐您通过Maven安装依赖的方式使用华为云 Java SDK: 安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。 安装配置完成后,输入命令“mvn -v”,显示如下图 Maven版本信息
SQL作业,单击操作列的“编辑”。 在作业配置区域配置委托信息: 在“运行参数”页签,确保所选的Flink版本为1.15。 单击“自定义配置”,配置新建的委托key-value信息,key固定为“flink.dli.job.agency.name”,value为自定义的委托名。 本例配置为:flink.dli
删除。 在提交Spark SQL或Flink SQL作业时,无需手动配置Hudi的 hoodie.write.lock.provider 配置项,但在提交Spark jar作业时必须手动配置,请见 Hudi锁配置说明 一节。 Hudi和队列计算引擎的版本对应关系为: 计算引擎 版本
客户作业存在并发操作,同时对一张表执行两个insert overwrite操作。 一个cn在执行: TRUNCATE TABLE BI_MONITOR.SAA_OUTBOUND_ORDER_CUST_SUM 另外一个cn在执行: call bi_monitor.pkg_saa_out_bo
String 用户自定义引用字符。 默认值: 英文双引号(") 仅在数据格式为csv格式时支持配置引用字符。 引用字符在导出作业结果时用于标识文本字段的开始和结束,即用于分割字段。 仅支持设置一个字符。 主要用于处理包含空格、特殊字符或与分隔符相同字符的数据。 escape_char 否
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下:
用户导表到OBS报“path obs://xxx already exists”错误 该提示信息说明您将数据导出到一个已经存在的OBS路径。 解决方案: 新建OBS目录。 您可以新建一个不存在的OBS目录用于存储导出的数据。 删除已存在的OBS目录。 删除已存在的OBS目录后,目录下的所有数据将会被删除。请谨慎执行此删除操作。
操作、消息通知、用户授权操作所需的权限。配置DLI云服务委托权限。 使用Flink 1.15和Spark 3.3.1(Spark通用队列场景)及以上版本的引擎执行作业时,需完成以下配置操作: 需用户自行在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。具体操作请参考创建DLI自定义委托权限。
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略,用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景:数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题: 配置DLI读写外部数据源数据