检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中,源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能,性能相较于外表性能更好,但是会收取存储费用。 父主题:
产品价格详情 3 支持计算队列定时扩缩容 DLI提供了队列规格变更定时任务功能。用户可以根据自己的业务周期或者使用情况,基于现有队列规格,在不同的时间或者周期内设置不同的队列大小,以满足自己的业务需求,节约成本。 商用 定时扩容/缩容 2020年6月 序号 功能名称 功能描述 阶段
Kafka作为源表,Print作为结果表(适用于Kafka集群已开启SASL_SSL场景) 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 其中,properties.sasl.jaas.config字段包含账号密码,使用DEW进行加密。
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能,开启安全模式后,将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时,需要先进行以下准备工作。 选择CSS Elasticsearch
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
本的Spark/Flink引擎可能会导致作业因依赖冲突而执行失败。 计算引擎版本生命周期 表1给出了DLI计算引擎版本生命周期,帮助您规划自己的版本更新节奏。 表1 DLI计算引擎版本生命周期 计算引擎类型 版本名称 状态 EOM时间 EOS时间 Flink DLI Flink 1
故障处理 运行Spark作业,作业运行失败,作业日志中提示No respond错误 问题现象 运行Spark作业,作业运行失败,作业日志中提示No respond错误 解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql
获取跨源认证列表 功能介绍 该API用于查看某个project下跨源认证列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选
ink 不存储数据因此只支持 NOT ENFORCED 模式,即不做检查,用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的,Connector 在处理数据时需要自己保证语义正确。 注意: 在 CREATE TABLE 语句中,创建主键会修改列的 nullable
ink 不存储数据因此只支持 NOT ENFORCED 模式,即不做检查,用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的,Connector 在处理数据时需要自己保证语义正确。 注意: 在 CREATE TABLE 语句中,创建主键会修改列的 nullable
获取跨源认证列表(废弃) 功能介绍 该API用于查看某个project下跨源认证列表。 当前接口已废弃,不推荐使用。推荐使用获取跨源认证列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/datasource/auth-infos
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证,将数据源的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问数据源。 MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表时
可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠
跨源认证概述 什么是跨源认证? 跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上
scala样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
ink 不存储数据因此只支持 NOT ENFORCED 模式,即不做检查,用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的,Connector 在处理数据时需要自己保证语义正确。 注意: 在 CREATE TABLE 语句中,创建主键会修改列的 nullable
创建跨源认证 功能介绍 该API用于创建跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
创建跨源认证(废弃) 功能介绍 该API用于创建跨源认证。 当前接口已废弃,不推荐使用。推荐使用创建跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{project_id}/datasource/auth-infos 参数说明
Kubernetes系列课程,带你走进云原生技术的核心 GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的