检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
组件介绍 Alluxio CarbonData ClickHouse CDL DBService Doris Flink Flume Guardian HBase HDFS HetuEngine Hive Hudi Hue Iceberg Impala IoTDB Kafka KafkaManager
在筛选条件中选择“产品类型 > MapReduce服务 MRS”,输入2查询到的集群节点ID,单击图标即可搜索该资源的服务管理费用。 图2 查看指定资源ID的MRS集群服务管理费 查看指定资源ID的IaaS基础设施资源费用(弹性云服务器、云硬盘) 在筛选条件中选择“资源ID”,分别输入3查询到的系
例如企业需要创建MRS服务的按需成本预算,每月预算金额为2000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用
注意该实例中提供的以Map形式缓存Table实例的方法,未必通用。这与多线程多Table实例的设计方案有关。如果确定一个Table实例仅仅可能会被用于一个线程,而且该线程也仅有一个Table实例的话,就无须使用Map。这里提供的思路仅供参考。 //该Map中以TableName为Key值,缓存所有已经实例化的Table
Xmx”设置为4G时,“-XX:MaxMetaspaceSize”设置为512M。 选择“更多 > 重启服务”重启服务。 在Hive服务重启期间,正在重启的实例无法对外提供服务,且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息。
y的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和Spark
y的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和Spark
如果不配置,则导入所有列,同时“Select *”的顺序作为列的位置。 - 分区列名 指定数据库表的一列,根据该列来划分要导入的数据,在Map任务中用于分区。建议配置主键字段。 说明: 分区列必须有索引,如果没有索引,请不要指定分区列,指定没有索引的分区列会导致数据库服务器磁盘I/O繁忙,
如果不配置,则导入所有列,同时“Select *”的顺序作为列的位置。 - 分区列名 指定数据库表的一列,根据该列来划分要导入的数据,在Map任务中用于分区。建议配置主键字段。 说明: 分区列必须有索引,如果没有索引,请不要指定分区列,指定没有索引的分区列会导致数据库服务器磁盘I/O繁忙,
} } } 注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径,该目录大小限制可查询结果集大小; Phoenix实现了大部分java.sql接口,SQL紧跟ANSI SQL标准。
org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver(CoprocessorHost.java:581) at org.apache.hadoop
输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以使用宏定义,具体请参考配置项中使用宏定义。 test 临时表 数据库临时表表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 说明: 使用临时表
则默认端口号为636,否则为389。 636 ldap_servers.ldap_server_name.auth_dn_prefix 用于构造要绑定到的DN的前缀和后缀。 生成的DN将被构造为auth_dn_prefix + escape(user_name) + auth_dn_suffix字符串。
Future<RecordMetadata> send(ProducerRecord<K,V> record, Callback callback) 带回调函数的发送接口,通常用于异步发送后,通过回调函数实现对发送结果的处理。 void onCompletion(RecordMetadata metadata, Exception
内存会设定为2000MB。 对于计算后的调整值低于设定的“minMemory”值的情形,虽然此时配置不会生效但后台仍然会打印出这个调整值,用于为用户提供“minMemory”参数调整的依据,保证配置可以生效。 父主题: Yarn企业级能力增强
} } } 注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径,该目录大小限制可查询结果集大小; Phoenix实现了大部分java.sql接口,SQL紧跟ANSI SQL标准。
生态组件对接 使用DBeaver访问Phoenix 使用DBeaver访问MRS HetuEngine 使用FineBI访问MRS HetuEngine 使用Tableau访问MRS HetuEngine 使用永洪BI访问MRS HetuEngine Hive对接外置自建关系型数据库
MRS集群管理 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩
使用Kafka 运行Kafka客户端获取Topic时报错 安全集群中使用Python3.x对接Kafka Flume正常连接Kafka后发送消息失败 Producer发送数据失败,报错“NullPointerException” Producer发送数据失败,报错“TOPIC_A
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2