检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
riftServerJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparknormal-examples/SparkThriftServerScalaExample
consumerStrategy = ConsumerStrategies.Subscribe(topicSet, kafkaParams); //用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。
consumerStrategy = ConsumerStrategies.Subscribe(topicSet, kafkaParams); // 用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。
consumerStrategy = ConsumerStrategies.Subscribe(topicSet, kafkaParams); // 用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。
consumerStrategy = ConsumerStrategies.Subscribe(topicSet, kafkaParams); //用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。
ze=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn
Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。 “作业分组”:Loader的作业分组操作权限。用户可以在指定作业分组下设置具体作业的操作权限,包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”:Loader的作业调度权限。 表1 设置Loader角色
性申请executor,因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据,运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。
YARN-Cluster模式下,Driver运行在AM(Application Master)中,它负责向YARN申请资源,并监督作业的运行状况。当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行,因而YARN-Cluster模式不适合运行交互类型的作业。 YARN-
性申请executor,因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据,运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。
'table-name' = 'customer_t1', 'username' = 'MySQL数据库用户名', 'password' = 'MySQL数据库用户名的密码' ); CREATE TABLE KafkaSource ( c_customer_sk INTEGER
_medium”默认为HDD,因此建表时会发现没有HDD介质的存储而报错。Doris并不会自动感知存储路径所在磁盘的实际存储介质类型,需要用户在路径配置中显式的表示。“.HDD”和“.SSD”只是用于标识存储目录“相对”的“低速”和“高速”之分,而并不是标识实际的存储介质类型,所
ze=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 服务 > Yarn > 配置”,单击“全部配置”,单击“NodeManager
RegionServer剩余内存不足导致HBase服务启动失败 用户问题 RegionServer剩余内存不足导致HBase服务启动失败。 原因分析 RegionServer启动时节点剩余内存不足,导致无法启动实例。排查步骤如下: 登录Master节点,到“/var/log/Bi
和B的操作没有竞争关系,不会持有同一把锁,可以极大提升写性能。 该功能适用于MRS 3.5.0及之后版本。 操作步骤 使用MRS集群管理员用户(例如admin)登录Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs
e.sh 虚拟机本地的路径:用户需要输入正确的脚本路径。脚本所在的路径必须以‘/’开头,以.sh结尾。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 parameters 否 String 参数解释: 自定义自动化脚本参数。多个参数间用空格隔开。可以传入以下系统预定义参数:
DataNode进程关闭,导致NameNode为每一个存在DataNode上的block调度额外的副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 >
历史记录可以保存的时间(小时)。 24 配置完成后,单击“保存”。 单击“概览”进入Loader服务概览界面,选择“更多 > 重启服务”,验证用户身份后,单击“确定”,等待重启成功。 父主题: 管理Loader作业
DataNode进程关闭,导致NameNode为每一个存在DataNode上的block调度额外的副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 >
增加Hive表字段超时 用户问题 增加Hive表字段报错。 问题现象 Hive对包含10000+分区的表执行ALTER TABLE table_name ADD COLUMNS(column_name string) CASCADE;,报错如下: Timeout when executing