检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
Kafka未开启Kerberos认证,仅开启了SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证,开启了SASL认证和SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。
certificate_location 否 String 用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。
4或以上集群版本,创建CSS安全集群,并下载安全集群证书(CloudSearchService.cer)。 登录云搜索服务控制台,单击“集群管理”,选择需要建立跨源连接的集群,如图1所示: 图1 CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。
使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL: INSERT OVERWRITE TABLE tablename select * FROM
afka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证,开启了SASL认证和SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 Kerberos类型跨源认证支持连接的数据源
RDS表有自增主键时怎样在DLI插入数据? 在DLI中创建关联RDS表时,如果RDS表包含自增主键或其他自动填充字段,您在DLI中插入数据时可以采取以下措施: 插入数据时省略自增字段:在DLI中插入数据时,对于自增主键字段或其他自动填充的字段,您可以在插入语句中省略这些字段。数据
keytab”文件。详细操作请参考创建Kerberos跨源认证。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。 Password类型的跨源认证:适用于DWS、RDS、
certificate_location 否 String 用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。
请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count int 证书个数。 auth_infos List 认证信息列表。详细说明请参考表4。 表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name
若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMI
service.ssl.enabled 打开blob通道SSL开关。 否 true taskmanager.data.ssl.enable 打开taskmanager之间通信的SSL开关。 否 true security.ssl.algorithms 设置SSL加密的算法。 否
请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count int 证书个数。 auth_infos List 认证信息列表。详细说明请参考表4。 表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name
将SELECT查询结果或某条数据插入到表中。 约束限制 insert overwrite语法不适用于“自读自写”场景,该场景因涉及数据的连续处理和更新,如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据,同时根据读取的数据生成新的数据或对数据进行修改。
es.net.ssl 连接安全CSS集群,默认值为“false”。 es.net.ssl.keystore.location 安全CSS集群的证书,生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书,生成的keystore文件时的密码。
V3:是根据定义API的YAML文件统一自动生成,其接口参数与服务的API一致。 具体操作请参考SDK V3版本开发指南。 DLI SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包(SDK)获取。 Java SDK操作指导请参考Java
解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql.mrs.opentsdb.ssl.enabled=true”。 父主题: 对接OpenTSDB
0002,Bob,330110) 示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource
"area_id":"330106"} 示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource