检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系
通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。 与MapReduce服务（MRS）的关系 MapReduce服务（MapReduce Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下两种。 数据来源：DLI服务提供DataFrame和SQL方式从MRS中导入数据到DLI。
同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource（除Hudi外）表在执行数据修改类命令（例如insert into，load data）时由于数据源不支持事务性，在系统故障或队列资源重启后，可能会导致数据重复或数据不一致等问题。 为了避免这种情
SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS 介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到RDS的开发示例。 从Kafka读取数据写入到DWS 介绍使用Flink
查看指定数据库 功能描述 查看指定数据库的相关信息，包括数据库名称、数据库的描述等。 语法格式 1 DESCRIBE DATABASE [EXTENDED] db_name; 关键字 EXTENDED：除了显示上述信息外，还会额外显示数据库的属性信息。 参数说明 表1 参数说明
DLI Flink与MRS Flink功能对比 类型 特点 DLI Flink MRS Flink 特色能力 产品模式 全托管（无需人力运维集群） 半托管（需要人力运维集群） 弹性扩缩容 支持集群容器化部署。 用户可以根据业务负载进行弹性扩缩容，能够基于作业的负载动态调整作业使用资源大小。
对DLI来说，标签用于标识购买的队列和创建数据库，对购买的DLI队列和数据库进行分类。为队列或数据库添加标签时，该队列或数据库上所有请求产生的计费话单里都会带上这些标签，您可以针对话单报表做分类筛选，进行更详细的成本分析。 例如：某个队列作用于A部门，我们可以用该部门名称作为标签，设置到被使用的集群上。在分析话
Studio-DLF调度。 自建大数据生态的调度工具，如Airflow。 企业级多租户 基于表的权限管理，可以精细化到列权限。 基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式，云上多种数据源、ECS自建数据库以及线下数据库，数据无需搬
row 1。 原因分析 客户的数据中存在emoj表情，这些表情是按照四个字节一个单位进行编码的，而通常使用的utf-8编码在mysql数据库中默认是按照三个字节一个单位进行编码的，这个原因导致将数据存入mysql数据库时出现错误。 出现该问题可能原因如下： 数据库编码问题。 处理步骤 修改字符集为utf8mb4。
”。 已创建包含Hive组件的MRS安全集群。创建MRS集群的操作详细可以参考创建MRS集群。 本示例创建的MRS集群和各组件版本如下： MRS集群版本：MRS 3.1.0 Hive版本：3.1.0 Hadoop版本：3.1.1 本示例创建MRS集群时开启了Kerberos认证。
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题： 创建数据库和表
SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。 数据处理有问题。 处理步骤
DLI的这种模式减轻了运维负担，可以更专注于数据处理和分析任务本身。 具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，用户可以根据实际需求调整及优化Spark服务，支持各种接口调用。 MRS的这种模式提供了更高的自由度和定制性，适合有大数据处理经验的用户使用。
问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql.mrs.opentsdb.ssl.enabled=true”。 父主题： 对接OpenTSDB
在DLI数据目录库下创建数据库和表请参考在DLI控制台创建数据库和表。 数据库 数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据，由多个数据表组成，这些数据表通过键和索引相互关联。 表 表是数据库最重要的组成部分
图解数据湖探索
运行Spark作业，作业运行失败，作业日志中提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息，如果没有，请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2：运行Spark作业，作业运行失败，作业日志中提示KrbException:
com 获取MRS主机信息请参考怎样获取MRS主机信息? 单击“确定”，完成主机信息的修改。 怎样获取MRS主机信息? 方法一：在管理控制台查看MRS主机信息 获取MRS集群主机名与IP地址，以MRS3.x集群为例，步骤如下： 登录MRS管理控制台页面。 单击“集群列表 > 现有
功能描述 FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建议为根目录，否则清空表数据的时候，就会把根目录内的数据全部清除，导致数据丢失。 with_column_header 否 Boolean OBS表数据是否包含表头
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
