检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件:作业日志和任务日志。 作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内
图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “
下载认证凭据 配置Flume角色服务端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “
下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “
CREATE TABLE 本章节主要介绍Doris创建表的SQL基本语法和使用说明。 基本语法 CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [index_definition_list]
xecutorBackend。然后由集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码(传递给SparkContext的JAR或者Python定义的代码)发送到Executor上。 所有的Ta
ClickHouse概述 ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键,不同的表引擎决定了: 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distr
下载认证凭据 配置Flume角色服务端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “
SHOW STATS 语法 SHOW STATS FOR table_name; SHOW STATS FOR (SELECT * FROM table [WHERE condition]); 限制 SHOW STATS首先会ANALYZE表,参考ANALYZE。在ANALYZE之前对目标表进行show
下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “
待操作的集群名称 > 服务 > Kafka > 更多 > 下载客户端”,下载客户端压缩文件到本地机器。 使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。 执行命令如下: keytool -noprompt -import -alias myservercert
在普通模式下使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用!q命令,不要使用“Ctrl + C”。否则会导致连接生成的临时文件无法删除,长期会累积产生大量的垃圾文件。 在使用beeline客户端时,如果需要在一行中输入多条语句,语句之间以“;”分隔,需要
eytab认证。 根据实际业务配置 否 security.kerberos.login.contexts 该参数为服务器端参数,flink生成jass文件的contexts。 Client、KafkaClient 是 HA 表10 HA参数说明 参数 描述 默认值 是否必选 high-availability
compaction操作时被删除。 用户列族的TTL在索引创建后不能修改。 如果在创建索引之后,列族的TTL值变大,应该删除并重新创建该索引。否则,一些已经生成的索引数据会先于用户数据被删除。 如果在创建索引之后,列族的TTL值变小。索引数据会晚于用户数据被删除。 索引查询不支持reverse;且查询结果是无序的。
清除之前运行生成的目标文件和可执行文件,运行如下命令。 make clean 执行结果如下: [root@10-120-85-2 hdfs-c-example]# make clean rm -f hdfs_test.o rm -f hdfs_test 编译生成新的目标和可执行文件,运行如下命令。
清除之前运行生成的目标文件和可执行文件,运行如下命令。 make clean 执行结果如下: [root@10-120-85-2 hdfs-c-example]# make clean rm -f hdfs_test.o rm -f hdfs_test 编译生成新的目标和可执行文件,运行如下命令。
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时,可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别?
件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端文件压缩包为“FusionInsight_Cluster_1_Services_Client
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力,该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力,不指定preCombineField会导致主键重复。