检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[编号]”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索 运行日志 token-server.log Guardian服务运行时的日志。 是 startDetail.log Guardian服务预启动日志。
值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_MEMORY和SPARK_DRIVER_MEMORY两个参数取值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果对核数有要求，可以搜索并修改spark
这个表达式用于列出指定schema下的所有表。如果没有指定schema，则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a int); Create table show_table2(a int); Create
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 父主题： 使用Flink
Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark应用调优
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端调优 配置Flink作业状态后端冷热数据分离存储 父主题： 使用Flink
作记录，供用户查询、审计和回溯使用。支持所有集群操作审计，所有用户行为可溯源。 MRS支持与主机安全服务对接，针对主机安全服务，做过兼容性测试，保证功能和性能不受影响的情况下，增强服务的安全能力。 MRS支持基于WebUI的统一的用户登录能力，Manager自带用户认证环节，用户
在“连接”区域，单击“添加”新建一个的连接，在“连接器”中选择“hdfs-connector”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”，进入“输入设置”界面，在“源文件类型”中选择“HBASE”，设置数据源信息。
在“连接”区域，单击“添加”新建一个的连接，在“连接器”中选择“hdfs-connector”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”，进入“输入设置”界面，在“源文件类型”中选择“HBASE”，设置数据源信息。
method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer，function不能正常使用 用add jar方式创建function，执行drop
Job，Receiver对于Spark是一个普通的任务，但它的生命周期和Spark Streaming任务相同，并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下，要时刻注意核数与Receiver个数的关系。 父主题： Spark Streaming
Metastore中。由于缺失新写入的分区信息，查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例 create table data_partition(id int, comb int
单击“创建集群连接”，在弹出的页面中参考表1填写信息，单击“确定”，完成集群连接创建。创建完成后，可在对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。 图1 创建集群连接 表1 创建集群连接信息 参数名称 参数描述 集群连接名称 集群连接的名称。 描述 集群连接名称描述信息。
method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer，function不能正常使用 用add jar方式创建function，执行drop
enabled为true，记录Spark事件的目录。在此目录下，Spark为每个应用程序创建文件，并将应用程序的事件记录到文件中。用户也可设置为统一的与HDFS目录相似的地址，这样History server就可以读取历史文件。 hdfs://hacluster/spark2xJobHistory2x spark
enabled为true，记录Spark事件的目录。在此目录下，Spark为每个应用程序创建文件，并将应用程序的事件记录到文件中。用户也可设置为统一的与HDFS目录相似的地址，这样History server就可以读取历史文件。 hdfs://hacluster/spark2xJobHistory2x spark
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能
Job，Receiver对于Spark是一个普通的任务，但它的生命周期和Spark Streaming任务相同，并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下，要时刻注意核数与Receiver个数的关系。 父主题： Spark Streaming
在以上场景中，为使HMaster更早完成恢复任务，建议增加以下配置参数，否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期，保证Master有足够的时间协调RegionServer workers split任务，避免一次次重复相同的任务。 “hbase
当初始Executor为0时，为什么INSERT INTO/LOAD DATA任务分配不正确，打开的task少于可用的Executor？ 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 父主题： 使用CarbonData
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
