检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全CSS集群的证书,生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书,生成的keystore文件时的密码。 es.net.ssl.truststore.location 安全CSS集群的证书,生成的truststore文件在OBS上的地址。
检查对端安全组是否放通队列的网段 创建完跨源连接后,连接的Kafka、DWS、RDS等实例还需要在实例的安全组下添加DLI网段的安全组规则。以对端连接RDS为例: 在DLI管理控制台,单击“资源管理 > 队列管理”,选择您所绑定的队列,单击队列名称旁的按钮,获取队列的网段信息。 在RDS
请参考CSS安全集群配置,准备工作的主要目的是为了生成keystore.jks文件和truststore.jks文件,并将其上传至OBS桶中。 开发说明-https off 如果没有开启https访问的话,不需要去生成keystore.jks和truststore.jks文件的,只需要设置好ssl访问和账号密码参数即可。
检查DLI队列对应网段是否开放,若没有,则在vpc中添加出方向网段。 在DLI服务找到跨源连接绑定队列对应的网段 图6 查找跨源连接绑定队列对应的网段 在虚拟私有云安全组中查看DLI队列对应的网段是否已配置。 图7 查看vpc中对应安全组中DLI队列对应网段 如果没有配置,则进行添加。 图8
json数据类型的数据,输出到日志文件中。 参考增强型跨源连接,根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
不配置表示动态导入整表数据,导入的数据需要包含分区列的数据; 如果导入时,配置所有分区信息,则表示导入数据到指定分区,导入的数据不能包含分区列的数据; 如果导入时,配置了部分分区信息,而导入的数据必须包含非指定的分区数据,不能包含指定的分区数据,否则数据导入后,非指定的数据分区字段列会存在null值等异常值。
Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。 Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源。 跨源认证类型 DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。
用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型,而且直接使用数字作为查询语句(SELECT)的输入,如“CREATE
这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。 此外,这些函数对Unicode代码点进行运算,而不是对用户可见的字符(或字形群集
关键字 DROP:删除指定视图的元数据。虽然视图和表有很多共同之处,但是DROP TABLE不能用来删除VIEW。 注意事项 所要删除的视图必须是已经存在的,否则会出错,可以通过IF EXISTS来避免该错误。 示例 删除名为student_view的视图。 1 DROP VIEW
obs://xxx already exists”错误 该提示信息说明您将数据导出到一个已经存在的OBS路径。 解决方案: 新建OBS目录。 您可以新建一个不存在的OBS目录用于存储导出的数据。 删除已存在的OBS目录。 删除已存在的OBS目录后,目录下的所有数据将会被删除。请谨慎执行此删除操作。
状态码如表5所示。 表5 状态码 状态码 描述 201 上传成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)
yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 datepart 是 STRING 代表需要返回的时间单位。 参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。 yyyy代表年份。 MM代表月份。 dd代表天。
day/dayofmonth day函数用于返回指定日期的天。 命令格式 day(string date)、dayofmonth(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为: yyyy-mm-dd
是 String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_
STRING 代表需要转换的目标时区。 返回值说明 返回TIMESTAMP类型的时间戳。 timestamp非DATE或STRING类型时,返回报错,错误信息:data type mismatch; timestamp为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL;
save() 表1 redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为:登录华为云官网,之后搜索redis,进入“分布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。
dateadd dateadd函数用于按照指定的单位datepart和幅度delta修改date的值。 如需要获取当前日期基础上指定变动幅度的日期,可结合current_date或getdate函数共同使用。 命令格式 dateadd(string date, bigint delta
yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型的值。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
DATE STRING TINYINT SMALLINT INT BIGINT 代表待处理的时间。 DATE或STRING类型的日期值,或TINYINT、SMALLINT、INT或BIGINT类型的时间戳。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd