检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数
Truststore密码 truststore密码。 Keystore路径 上传SSL KEYSTORE(密钥和证书)文件的OBS路径。 Keystore密码 keystore(密钥和证书)密码。 Key密码 keystore中的私钥密码。 图1 创建认证信息-Kafka_SSL 访问开启SASL_SSL认证的Kafka。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
ssl", "true") 如果CSS安全集群开启了HTTPS访问,此处需要设置为“true”,并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问,此处需要设置为“false”,则不需要设置后面安全证书、文件地址等参数。 .option("es.net
2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。
DWS Connector概述 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQ
建模和预测,建模是指提取数据中有用的统计信息和数据特征,预测是指使用模型对未来的数据进行推测。DLI服务提供了一系列随机线性模型,帮助用户在线实时进行模型的建模和预测。 ARIMA (Non-Seasonal) ARIMA(Auto-Regressive Integrated Moving
建模和预测,建模是指提取数据中有用的统计信息和数据特征,预测是指使用模型对未来的数据进行推测。DLI服务提供了一系列随机线性模型,帮助用户在线实时进行模型的建模和预测。 ARIMA (Non-Seasonal) ARIMA(Auto-Regressive Integrated Moving
确定类别数目,运行K-Means算法可以取得比较好的聚类效果。但是对于在线实时流数据,数据是在不断变化和演进,类别数目极有可能发生变化,DLI服务提供一种能够应对此类场景,无需提前设定聚类数目,并且低延时的在线聚类算法。 算法大致思想为:定义一种距离函数,两两数据点之间如果距离小
确定类别数目,运行K-Means算法可以取得比较好的聚类效果。但是对于在线实时流数据,数据是在不断变化和演进,类别数目极有可能发生变化,DLI服务提供一种能够应对此类场景,无需提前设定聚类数目,并且低延时的在线聚类算法。 算法大致思想为:定义一种距离函数,两两数据点之间如果距离小
Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问,有服务端使用证书。
登录CSS服务管理控制台,单击“集群管理”。 在“集群管理”页面中,单击对应的集群名称,进入“基本信息”页面。 单击“安全模式”后的下载证书,下载CSS安全集群的证书。 将认证凭证上传到OBS桶。 关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。
示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource ( order_id string
示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource ( order_id string
请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count int 证书个数。 auth_infos List 认证信息列表。详细说明请参考表4。 表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name
请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count int 证书个数。 auth_infos List 认证信息列表。详细说明请参考表4。 表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name
应用场景 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。 海量日志分析 游戏运营数据分析 游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解
示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource ( order_id string
示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource ( order_id string