检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
location] [ssl.truststore.password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为
如果用户需要不通过FusionInsight Manager访问Spark JobHistory页面，则需要将URL地址中的<hostname>更改为IP地址进行访问，或者在Windows系统的hosts文件中添加该域名信息。 父主题： Spark Core
bigdata_env 运行此样例代码需要设置运行用户，设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下，执行以下语句添加环境变量： export HADOOP_USER_NAME=test 用户可向管理员咨询运行用
Hive表desc描述过长导致无法完整显示 问题现象 desc描述表过长时，如何让描述显示完整？ 处理步骤 启动Hive的beeline时，设置参数maxWidth=20000即可，例如： [root@192-168-1-18 logs]# beeline --maxWidth=20000
se问题定位的效率。 针对不同的系统表日志可以分为实时转储和一键转储，如下表所示： 系统表转储日志 系统表 实时转储系统表日志 system.asynchronous_metrics system.clusters system.distribution_queue system
'[table_name]', instant_time => '[instant]'); 参数描述 表1 参数描述 参数 描述 table_name 需要回滚的Hudi表的表名，必选 instant 需要回滚的Hudi表的commit instant时间戳，必选 示例 call rollback_to_instant(table
anon$1.createAndStart(NettyBlockTransferService.scala:92) 使用的默认配置如表1所示。 表1 参数说明 参数 描述 默认值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。
anon$1.createAndStart(NettyBlockTransferService.scala:92) 使用的默认配置如表1所示。 表1 参数说明 参数 描述 默认值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。
| +--------------------------+ 将数据导入OBS对应表目录下。 Hive内部表会默认在指定的存储空间中建立对应文件夹，只要把文件放入，表就可以读取到数据（需要和表结构匹配）。 登录OBS控制台，在已创建的文件系统的“文件”页面，将本地的原始数据分别
支持任何字符串。默认使用操作系统的换行符。 string 否 \n 输出字段 配置输出信息： 位置：配置输出字段的位置。 字段名：配置输出字段的字段名。 类型：配置字段类型，字段类型为“DATE”或“TIME”或“TimeStamp”时，需指定特定时间格式，其他类型指定无效。时间格式如：“yyyyMMdd
ive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFile、JsonFile、Parquet、Squence和CSV。 可在Hive客户端创建ZSTD压缩格式的表，命令如下： ORC存储格式建表时可指定TBLPROPERTIES("orc
切换到Kafka客户端配置目录。 cd Kafka/kafka/config 编辑tools-log4j.properties文件，将WARN修改为INFO，并保存。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。
a gap in the edit log. We expected txid XXX, but got txid XXX. 解决方法 参考修改集群服务配置参数，进入HDFS“全部配置”页面，搜索并查看“dfs.namenode.name.dir”参数值获取NameNode数据目录
cd /opt/client 执行以下命令编辑“yarn-site.xml”文件。 vi Yarn/config/yarn-site.xml 修改“yarn.http.policy”的参数值。 安全模式下，“yarn.http.policy”配置成“HTTPS_ONLY”。 普通模式下，“yarn
cd /opt/client 执行以下命令编辑“yarn-site.xml”文件。 vi Yarn/config/yarn-site.xml 修改“yarn.http.policy”的参数值。 安全模式下，“yarn.http.policy”配置成“HTTPS_ONLY”。 普通模式下，“yarn
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark Stre
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
'\n', kafka_handle_error_mode='stream'; 相关参数说明如下表： 参数 参数说明 kafka_broker_list Kafka集群Broker实例的IP和端口列表。例如：kafka集群broker实例IP1:9092,kafka集群broker实例IP2:9092
on HBase 程序-分布式Scan HBase表 Java SparkOnHbaseScalaExample-HBaseDistributedScanExample Spark on HBase 程序-分布式Scan HBase表 Scala SparkOnHbasePytho
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
