检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataSource和Hive两种语法创建OBS表的区别 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。 表1 DataSource语法和Hive语法创建OBS表的差异点 语法 支持的数据类型范围 创建分区表时分区字段差异
否 Boolean 是否不包含任意一个标签。默认值false。 true:不包含任意一个标签。 false:指定标签。 tags 否 Array of objects 包含标签。请参考tags。 最多支持20个标签。 每个资源中的键不能重复,同一个键中值不能重复。 无tag过滤条件时返回全量数据。
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如project
在增强型跨源连接的详情页可以查看对等连接的相关信息。 对等连接ID:增强型跨源在该队列所在集群中创建的对等连接ID。 每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信,请确保数据源使用的安全组开放了DLI队列网段的访问,并且在使用跨源过程中不要删除该对等连接。
认值为#。 配置项为OPTIONS('COMMENTCHAR'='#') HEADER:用来表示源文件是否有表头。取值范围为“true”和“false”。“true”表示有表头,“false”表示无表头。默认值为“false”。如果没有表头,可以在导入命令中指定FILEHEADER参数提供表头。
更新管理 更新漏洞 DLI云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等。 一旦发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。
of life,停止所有销售、服务活动。 常见问题 DLI“包年/包月”和“按需计费”计费模式队列停止销售(EOM)后,正在使用该功能的作业有哪些影响? EOM后停止队列资源的新购。 短期方案:为了满足部分业务的使用需求,在2024年6月30日 00:00:00(北京时间)前,您可
闲期。DLI按需计费只在使用期间收费,有效节约队列成本。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。
array MAP / MULTISET object ROW object 示例 该示例是从kafka的一个topic中读取数据,并使用kafka sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安
为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区表,分区列为external_data,数据存储在obs://bucketName/datapath路径下。
是否重启队列。默认值为“false”。 labels 否 String 创建队列的标签信息,目前包括队列是否跨AZ的标签信息的Json字符串。目前只支持值为“2”,即创建两个队列。 feature 否 String 队列的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择)
件进行过滤来提升处理性能,这类表要结合一定的业务场景来进行优化,无法从单纯的日期分区进行优化。事实表读取方式都会按照时间段切分,近一年、近一个月或者近一天,读取的文件数相对稳定可控,所以事实表优先考虑日期分区表。 分区采用日期字段,分区表粒度,要基于数据更新范围确定,不要过大也不要过小。
说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键名不能重复。 单击“确定”。 (可选)在标签列表中,单击“操作”列中“删除”可对选中的标签进行删除。 父主题:
可以用来匹配0个或者任意个任意字符。 规则4:|可以用来配置多种规则,规则之间用“|”分隔。 规则5:当想将“_”作为匹配条件时,可以使用ESCAPE 指定一个转义字符,对“_”进行转义,以免按照规则1对“_”进行解析。 父主题: DDL 语法
等等xpath开头的函数。 'x[a-z]+' 表示匹配以x开头,后面是a到z范围的一个到多个字符的函数名。如可以匹配到:xpath、xtest等。 'x.*h' 匹配以x开头,h结尾,中间为一个或多个字符的函数名。如可以匹配到:xpath、xtesth等。 其他更多正则表达式的使用,可参考官网说明。
shiftleft shiftleft(BIGINT a, INT b) INT 有符号左边移,将a的二进制数按位左移b位。 shiftright shiftright(BIGINT a, INT b) INT 有符号右移,将a的二进制数按位右移b位。 shiftrightunsigned
AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号,用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点
否 Boolean 是否不包含任意一个标签。默认值false。 true:不包含任意一个标签。 false:指定标签。 tags 否 Array of objects 包含标签。请参考tags。 最多支持20个标签。 每个资源中的键不能重复,同一个键中值不能重复。 无tag过滤条件时返回全量数据。
可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。 说明: 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键名不能重复。 标签键:在输入框中输入标签键名称。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_
DCS的连接IP,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password (已废弃)创建DC