检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
trim trim函数用于从str的左右两端去除字符: 如果未指定trimChars,则默认去除空格字符。 如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的左右两端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: ltrim
connector.message-column 是 当前表的某个字段名,其内容作为消息的内容,用户自定义。目前只支持默认的文本消息 注意事项 无 示例 将数据写入smn的相应主题中,其中smn发送的消息的主题为'test',内容为字段'attr1'的内容 create table smnSink
如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。 图1 删除队列 如果“操作”列的“删除”为灰色
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下: 1 2 3 4 5 6 7 private static
<default>]) 参数的数据类型 实现if-then-else分支选择的功能。 javahash javahash(string a) STRING 返回hash值。 max_pt max_pt(<table_full_name>) STRING 返回分区表的一级分区中有数据的分区的最大值,按字母排序,且读取该分区下对应的数据。
e e函数用于计算返回e的值。 命令格式 e() 返回值说明 返回DOUBLE类型的值。 示例代码 返回2.718281828459045。 select e(); 父主题: 数学函数
dateadd dateadd函数用于按照指定的单位datepart和幅度delta修改date的值。 如需要获取当前日期基础上指定变动幅度的日期,可结合current_date或getdate函数共同使用。 命令格式 dateadd(string date, bigint delta
授权操作所需的权限,除此之外的其他委托权限需求,都需自定义DLI委托。 授权DLI读写OBS的权限并不包含在的DLI委托dli_management_agency中。需要您创建自定义委托,并将委托配置在作业中(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。
删除增强型跨源连接 操作场景 本节操作介绍在控制台删除不再使用的增强型跨源连接的操作步骤。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接,单击操作列的“删除”。 单击“是”,删除增强型跨源连接。 父主题: 管理增强型跨源连接
在当前database或指定database中创建一个新的角色。 只有在database上具有CREATE_ROLE权限的用户才能创建角色。例如:管理员用户、database的owner用户和被赋予了CREATE_ROLE权限的其他用户。 每个角色必须属于且只能属于一个database。
G类型。 待排序的值。 返回值说明 DOUBLE或DECIMAL类型。 排在第nth位的值,当不存在隐式转换时返回值同输入参数数据类型。 当有类型转换时,DOUBLE、BIGINT、STRING之间的转换返回DOUBLE类型;STRING、DATETIME之间的转换返回DATETIME类型。不允许其他的隐式转换。
to_date1 to_date1函数用于将指定格式的字符串转换为日期值。 相似函数:to_date,to_date函数用于返回时间中的年月日,不支持指定转换的日期格式。 命令格式 to_date1(string date, string format) 参数说明 表1 参数说明
为了方便用户更好地使用DLI,DLI服务提供了供作业开发的Demo样例,您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下: dli-flink-demo:开发Flink作业时的样例代码参考。例如,样例代码实现读取Kafka源表数据写入到HDFS、DWS、Hive等结果表中的功能。 dli-spark
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
列字段名称。col_name必须是已存在的列。 col_type 是 列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment 是 修改后的列注释信息。注释内容为长度不超过1024字节的有效字符串。 示例 修改表t1中的c1列的注释信息为“the new
BY:根据指定的字段进行分桶,支持单字段及多字段,不会在桶内进行排序。与SORT BY配合使用即为分桶后的排序。 注意事项 所排序的表必须是已经存在的,否则会出错。 举例 根据字段score对表student进行分桶。 1 2 SELECT * FROM student DISTRIBUTE BY score;
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。
是join条件均为不等式条件。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 示例 返回student_info_1与student_info_2两张表中的所有学生姓名对组合,但不包含相同姓名的姓名对。 1 2 SELECT student_info_1.name
array<string> <a>) 返回将参数中的所有字符串或ARRAY数组中的元素按照指定的分隔符连接在一起的结果。 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 separator 是 STRING STRING类型的分隔符。 str1、str2 是 STRING 至少要指定2个字符串。
包冲突,导致作业提交失败 问题描述 用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突,导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包,用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI Flin