检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka开启SSL认证。 操作步骤 下载认证凭证。 DMS Kafka 登录DMS Kafka控制台,单击实例名称进入详情页面。 在连接信息中,找到SSL证书,单击“下载”。 解压下载的kafka-certs压缩包,获取client.jks和phy_ca.crt文件。 MRS Kafka 登录MRS
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。 详细的签名方法和SDK使用方法请参见API签名指南。
Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。
请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count int 证书个数。 auth_infos List 认证信息列表。详细说明请参考表4。 表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name
X-Language 请求语言。 否 en-us API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。 例如,对于IAM获取用户Token接口,由于不需
eCall”,调用这类API将抛出“SQLFeatureNotSupportedException”异常。API详情请参考JDBC官网https://docs.oracle.com/javase/8/docs/api/java/sql/package-summary.html。 支持的API列表
2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项
Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性,推荐使用1.8版本。 在Java运行环境配置好的情况下,打开windows的命令行,执行命令Java -version,可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。
RDS表有自增主键时怎样在DLI插入数据? 在DLI中创建关联RDS表时,如果RDS表包含自增主键或其他自动填充字段,您在DLI中插入数据时可以采取以下措施: 插入数据时省略自增字段:在DLI中插入数据时,对于自增主键字段或其他自动填充的字段,您可以在插入语句中省略这些字段。数据
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual C++编译环境Visual
单击dli-sdk-python获取驱动安装包。 准备连接信息 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint
ACTIVE:已激活 DELETED:已删除 说明: 连接状态不区分大小写。 name 否 String 连接名。 tags 否 String 标签名列表。单个标签为k=v,多个标签以“,”分隔。示例tag1=v1,tag2=v2。 带入query参数的URL示例如下: GET /v2.
目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。 操作前准备 环境要求 确保您的系统环境满足以下要求。 操作系统:Windows 或 Linux DBT是一个基于Python的工具,请确保已安装了Python。 Python 版本:Python 3.8 或更高版本,推荐使用
query参数说明 参数名称 是否必选 参数类型 描述 name 否 String 模板名称。支持根据name进行模糊查询。 tags 否 String 标签名列表。单个标签为k=v,多个标签以“,”分隔。示例tag1=v1,tag2=v2。 offset 否 Long 作业偏移量。 limit 否
将SELECT查询结果或某条数据插入到表中。 约束限制 insert overwrite语法不适用于“自读自写”场景,该场景因涉及数据的连续处理和更新,如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据,同时根据读取的数据生成新的数据或对数据进行修改。
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件:
ndencies.jar。 连接信息: 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint
示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource ( order_id string