正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取
WS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”,“基本信息”页面的“网络”中获取“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“连接信息”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0
该场景需要与ClickHouse建立增强型跨源连接,并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 建立增强型跨源连接,请参考《数据湖探索用户指南》中的“增强型跨源连接”章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建MRS的ClickHouse集群,集群版本选择MRS
该场景需要与ClickHouse建立增强型跨源连接,并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 建立增强型跨源连接,请参考《数据湖探索用户指南》中的“增强型跨源连接”章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建MRS的ClickHouse集群,集群版本选择MRS
创建Kafka_SSL类型跨源认证 操作场景 通过在DLI控制台创建的Kafka_SSL类型的跨源认证,将Kafka的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问Kafka实例。 MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表
System.out.println(result); } 查询作业APIG网关服务访问地址 DLI提供查询Flink作业APIG访问地址的接口。您可以使用该接口查询作业APIG网关服务访问地址。示例代码如下: 1 2 3 4 5 private static void
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
置的属性为准。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 使用生命周期前需要在“全局配置 > 服务授权 > 委托权限设置”中,对(Tenant Administrator(项目级))授权。 表生命周期功能支持Hive、DataSource语法创建表、
输入长度不能超过128个字符。 建议名称中包含MRS安全集群的名称,便于区分不同集群的安全认证信息。 用户名 安全集群的登录用户名。 krb5_conf路径 上传“krb5.conf”文件的OBS路径。 说明: “krb5.conf”中需移除[libdefaults]下的“re
置的属性为准。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 使用生命周期前需要在“全局配置 > 服务授权 > 委托权限设置”中,对(Tenant Administrator(项目级))授权。 表生命周期功能支持Hive、DataSource语法创建表、
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式
因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections
配置时间模型 Flink中主要提供两种时间模型:Processing Time和Event Time。 DLI允许在创建Source Stream和Temp Stream的时候指定时间模型以便在后续计算中使用。 配置Processing Time Processing Time是
配置时间模型 Flink中主要提供两种时间模型:Processing Time和Event Time。 DLI允许在创建Source Stream和Temp Stream的时候指定时间模型以便在后续计算中使用。 配置Processing Time Processing Time是
create-time 比较分区/文件创建时间,这不是 Hive metaStore 中的分区创建时间,而是文件系统中的文件夹/文件修改时间,如果分区文件夹以某种方式更新,例如将新文件添加到文件夹中,可能会影响数据的使用方式。 partition-time 比较从分区名称中提取的时间。
随机森林结构仅构造一次,模型更新仅仅是节点数据分布值的更新。 节点存储多个窗口的数据分布信息,能够检测数据分布变化。 异常检测和模型更新在同一个代码框架中完成。 语法格式 1 SRF_UNSUP(ARRAY[字段1, 字段2, ...], '可选参数列表') 函数输出为[0, 1]区间的DOUBLE值,表示数据的异常打分。
随机森林结构仅构造一次,模型更新仅仅是节点数据分布值的更新。 节点存储多个窗口的数据分布信息,能够检测数据分布变化。 异常检测和模型更新在同一个代码框架中完成。 语法格式 1 SRF_UNSUP(ARRAY[字段1, 字段2, ...], '可选参数列表') 函数输出为[0, 1]区间的DOUBLE值,表示数据的异常打分。
仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中CSV,Parquet,ORC,JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表,需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表(表类型为“Managed”)中的数据
apigateway WHERE service_id = 'ecs' Group BY http_method 或者 SELECT http_method FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method
每批次读取的数据记录数,默认为100。如果在读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 timeout