检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前，请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。
'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password' = 'password',--连接MySQL数据库的密码 'filter.record.enabled'
block大小。 put适合的场景： 每次加载到单个Region的数据大小小于HDFS block大小的一半。 数据需要实时加载。 加载数据过程不会造成用户查询速度急剧下降。 父主题： HBase应用开发常见问题
【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误 用户问题 提交一个Spark应用，包含单个Job百万个Task。应用结束后，在JobHistory中访问该应用的WebUI页面，浏览器会等待较长时间才跳转到应用WebUI页面，若10分钟内无法跳转，则页面会显示Proxy
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前，请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager，选择“集群 > 服务 > Spark2x > 配置”。 单击“全部配置
> 配置”，在搜索框中搜索“hive.server2.thrift.port”查看，默认值为“10000”。 执行以下命令运行Python3客户端： cd python3-examples python pyCLI_nosec.py 在命令行终端查看样例代码中的HQL所查询出的结果。例如：
包含Kafka服务的客户端已安装，安装路径如：/opt/client。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI，如：flinkuser。 待对接的GaussDB（DWS）所在集群（安全模式）： 可参考如下命令连接数据库并创建接受数据的表：
Size），确保不会产生过多的Task，提高性能。 当SQL逻辑中不包含Shuffle操作时，设置此配置项，不会有明显的性能提升。 配置描述 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 描述 默认值 spark.sql.files.maxPartitionBytes
溢出导致的，即物理内存溢出导致被NodeManager kill。 解决方案： 将ApplicationMaster的内存配置调大，在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数： “yarn.app.mapreduce.am
_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍，请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录，执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar
_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍，请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录，执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar
参数解释： 提交作业的用户名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_name String 参数解释： 作业名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_result String 参数解释： 作业最终结果。 约束限制：
cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理，不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题： Hudi CALL COMMAND语法说明
配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。 空值转换 原始数据包含NULL值，转换为用户指定的值。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 随机值转换 不涉及处理NULL值、空字符串，不生成脏数据。
/src/main/resources/conf”目录下。 hbase-examples/hbase-example（多集群互信场景） 将互信场景下的同名用户其中一个集群的配置文件放入“../src/main/resources/hadoopDomain”目录下，将另一集群的配置文件放入“../
面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 单击“概览”，选择“更多 > 重启服务”，输入当前用户密码重启Doris服务。 日志格式 Doris的日志格式如下所示： 表3 日志格式 日志类型 格式 示例 FE运行日志 <yyyy-MM-dd
配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。 空值转换 原始数据包含NULL值，转换为用户指定的值。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 随机值转换 不涉及处理NULL值、空字符串，不生成脏数据。
ition数量，避免在Shuffle操作时生成过多的hash分桶，如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes
Size），确保不会产生过多的Task，提高性能。 当SQL逻辑中不包含Shuffle操作时，设置此配置项，不会有明显的性能提升。 配置描述 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 描述 默认值 spark.sql.files.maxPartitionBytes
ition数量，避免在Shuffle操作时生成过多的hash分桶，如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
