检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader常见问题 使用IE浏览器配置Loader作业时无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 SQLServer全数据类型导入HDFS数据跳过 Loader作业导入大量数据至HDFS时报错 sftp-connector连接器相关作业运行失败 父主题：
insertTablet（单设备多行同列） > insertRecordsOfOneDevice （单设备多行不同列） > insertRecords(Object value) （多设备多行不同列） > insertRecords(String value) （多设备多行不同列） > insertRecord（单设备一行）
问题，取消表的任意权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限，数据库中的表也将自动添加或删除查询权限。此机制为Hive实现，SparkSQL与Hive保持一致。 Spark不支持struct数据类型
群的节点，每个弹性云服务器是集群中的一个节点。 准备运行环境 创建集群 云数据库（Relational Database Service） 云数据库（RDS）用于存储MRS系统运行数据，包括MRS集群元数据和用户计费信息等。 配置数据连接 统一身份认证服务（Identity and
重置MRS集群组件数据库用户密码 MRS集群中组件连接DBService数据库的用户默认密码为随机密码，建议管理员定期重置组件数据库用户的密码，以提升系统运维安全性。 该章节仅适用于MRS 3.1.2及之后版本。MRS 3.1.2之前版本请参考修改MRS集群组件数据库用户密码章节。 对系统的影响
在执行此命令之前，应将旧表的表结构定义schema和数据复制到新数据库位置。 对于旧版本仓库，源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数据库来存储表结构，则刷新将不起作用，因为文件系统中不存在表结构定义schema文件。
复制到新数据库位置。 对于旧版本仓库，源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。 执行命令前，旧表的表结构定义schema和数据应该复制到新的数据库位置。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数据库来存储表结
据目录进行迁移。而Hive表的元数据根据集群的不同配置，可以存储在不同类型的关系型数据库中（如MySQL、PostgreSQL、Oracle等）。 本指导中导出的Hive表元数据即存储在关系型数据库中的Hive表的描述信息。 业界主流大数据发行版均支持Sqoop的安装，如果是自建
0中的MapReduce实现，它由编程模型（新旧编程接口）、运行时环境（由JobTracker和TaskTracker组成）和数据处理引擎（MapTask和ReduceTask）三部分组成。该框架在扩展性、容错性（JobTracker单点）和多框架支持（仅支持MapReduce一种计算框架）等方面存在不足。MRv2是Hadoop
Bad Records管理，请参见表2。 表2 Bad Records Logger 配置项 默认值 描述 BAD_RECORDS_LOGGER_ENABLE false 如果设置为true，则将创建Bad Records日志文件，其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION
的Bad Records管理，请参见表2。 表2 Bad Records Logger 配置项 默认值 描述 BAD_RECORDS_LOGGER_ENABLE false 若设置为true，则将创建Bad Records日志文件，其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION
表引擎在ClickHouse中的作用十分关键，不同的表引擎决定了： 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distributed是ClickHouse表引擎中最重要，也是最常使用的两个引擎，本文将重点进行介绍。
Flink Jar作业提交SQL样例程序（Java） 提交SQL的核心逻辑如下，目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。 public class FlinkSQLExecutor
访问“Metastore Manager”，在“Databases”选择一个数据库，页面显示数据库中所有的表。 默认数据库为“default”。 单击数据库中的表名称，打开表的详细信息。 支持导入数据、浏览数据或查看文件存储位置。查看数据库所有的表时，可以直接勾选表然后执行查看、浏览数据操作。 H
加密HFile和WAL内容 缺省情况下，HBase中的HFile和WAL（Write ahead log）内容是不加密的。如果用户需要对其进行加密，可通过该章节操作进行配置。 设置HFile和WAL为SMS4加密或AES加密方式对系统的影响较大，一旦操作失误会导致数据丢失，不推荐使用此功能。
所有用户都属于public组，默认给public组配有default数据库的创表和所有其他数据库的create权限，因此默认所有的用户都有show databases和show tables的权限，如果不想让某些用户有show databases和show tables权限，可在Ranger WE
登录Doris集群中已安装好MySQL客户端的MRS Master节点，执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 （若集群已启用Kerberos认证（安全模式）需执行该命令） mysql -u数据库登录用户 -p数据库登录用户密码
ger和TaskManager的算子内的日志输出，输出的日志会打印到对应的yarn contain中，可以在Yarn WebUI查看对应日志。 MRS 3.1.0及之后版本的Flink 1.12.0版本开始默认的日志框架是log4j2，配置的方式跟之前log4j的方式有区别，使用如log4j日志规则不会生效。
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
2); records.addAll(toBeUpdated); recordsSoFar.addAll(toBeUpdated); writeRecords = jsc.parallelize(records, 1); client.upsert(writeRecords, newCommitTime);
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
