检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
历史创建的队列使用Flink 1.7执行作业过程中出现的错误,不再提供该版本的任何技术服务支持,请您尽快更换至新版本的计算引擎。 Flink 1.7版本停止服务后,可以使用哪个版本替换? 推荐使用DLI Flink 1.12版本。 Flink 1.12版本有哪些优势? Flink 1.12新增支持Data
BS桶的元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 导出数据步骤 导出数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导出数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数
如何创建Redis类型的缓存实例请参考《分布式缓存服务用户指南》。 该场景作业需要运行在DLI的独享队列上,因此要与DCS实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
如何创建Redis类型的缓存实例请参考《分布式缓存服务用户指南》。 该场景作业需要运行在DLI的独享队列上,因此要与DCS实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
format'只能配置其中一个。 格式取值如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 topic-pattern 否 无 String 匹配读取kafka topic名称的正则表达式。 注意:“topic-pattern”和“topic”只能选择一个,不可同时存在。
证书(CloudSearchService.cer),keytool工具还有其他参数,可根据需求设置。 打开cmd,输入下列命令生成含有一个私钥的keystore文件。 keytool -genkeypair -alias certificatekey -keyalg RSA -keystore
按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 适用于在DLI 存储表数据的场景,例如时延敏感类的业务将表存储在DLI,使用存储量套餐包可以节省存储费用。 存储套餐的额度每个小时会重置。 判断套餐包额度是否超出 如果当月使用量超出已购买套餐包的额度,超出部分将自动转为按需计费。怎样查看套餐包资源的使用情况?
计费”,勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
string_split参数说明 参数 数据类型 说明 target STRING 待处理的目标字符串。 说明: 如果target为NULL,则返回一个空行。 如果target包含两个或多个连续出现的分隔符时,则返回长度为零的空子字符串。 如果target未包含指定分隔符,则返回目标字符串。 separator
string_split参数说明 参数 数据类型 说明 target STRING 待处理的目标字符串。 说明: 如果target为NULL,则返回一个空行。 如果target包含两个或多个连续出现的分隔符时,则返回长度为零的空子字符串。 如果target未包含指定分隔符,则返回目标字符串。 separator
计费”,勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
string_split参数说明 参数 数据类型 说明 target STRING 待处理的目标字符串。 说明: 如果target为NULL,则返回一个空行。 如果target包含两个或多个连续出现的分隔符时,则返回长度为零的空子字符串。 如果target未包含指定分隔符,则返回目标字符串。 separator
列表,如 'topic-1;topic-2'。 对 source 表而言,'topic' 和 'topic-pattern' 两个选项只能使用其中一个。 当表被用作 sink 时,该配置表示写入的 topic 名。注意 sink 表不支持 topic 列表。 topic-pattern
lose三个方法。 UDTF首先会调用initialize方法,此方法返回UDTF的返回行的信息,如,返回个数,类型等。 初始化完成后,会调用process方法,真正处理在process函数中,在process中,每一次forward()调用产生一行。 如果产生多列可以将多个列的
列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数,单击“执行”提交创建。 如果该客户开启了自定义函数热加载功能,注册语句会发生变化。 详情可参考注册函数。 CREATE FUNCTION AvgFilterUDAFDemo AS 'com.dli.demo.AvgFilterUDAFDemo'
table方式(如 select * from dbother.tabletest)。 authenticationmode 是 token 身份认证方式,可以是token或aksk,永洪BI对接建议采用aksk认证方式。 accesskey authenticationmode=aksk时必须配置
源之间的网络。 配置DLI 队列与公网网络连通 介绍DLI队列在公网访问场景下网络连通的方法。通过配置SNAT规则,添加到公网的路由信息,可以实现队列到和公网的网络打通。 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OB
数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String 配置一个标识符作为输出数据的前缀。 standard-error 否 false Boolean 该值只能为true或false,默认为false。
布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。 port 访问端口。 password 连接密码。无密码时可以不填写该参数。 table 对应Redis中的Key或Hash Key。 插入redis数据时必填。
nager,这种方式适合那种需要提前加载的少量变量。 方案二:在open里面初始化算子的时候加载文件,可以使用相对路径/绝对路径的方式 以kafka sink为例:需要加载两个文件(userData/kafka-sink.conf,userData/client.truststore