检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
response.time”,默认值为“3000”ms)的请求;超大请求是指通过hbase shell命令查询服务端时,RPC请求一次返回数据量大小超过阈值(即HBase服务端配置参数“hbase.ipc.warn.response.size”,默认值为“5MB”)的请求。 每个
"fieldNameBasedTupleToKafkaMapper" #定义数据流 streams: - name: "kafkaSpout --> splitBolt" #第一个数据流名称,只作为展示 from: "kafkaSpout" #数据流起点,值为spouts中定义的kafkaSpout
atalog、schema概念无关联;“parameter_type”需要为HetuEngine支持的数据类型。 “return_type”需要为HetuEngine支持的数据类型,要与函数的返回实际类型匹配,不做类型强制转换。 可以指定一组特征来修饰函数并指定其行为,每个特征最多只能指定一次,详情请参考表1。
COMPUTE STATISTICS 生成sizeInBytes和rowCount。 使用ANALYZE语句收集统计信息时,无法计算非HDFS数据源的表的文件大小。 生成表级别统计信息(不扫表): ANALYZE TABLE src COMPUTE STATISTICS NOSCAN
选中某角色或单击“实例”。 选择指定主机上某角色实例。 单击“实例配置”。 单击“导出实例配置”,导出指定角色实例配置数据并选择一个位置保存。 单击“导入实例配置”,导入指定角色实例配置数据。 单击“保存配置”,勾选“重启角色实例。”并单击“确定”。 界面提示“操作成功。”,单击“完成”,角色实例成功启动。
过选择不同的Selector类型来将Source的数据进行分流或者复制,目前Flume提供的Channel Selector有两种:Replicating和Multiplexing。 Replicating:表示Source的数据同步发送给所有Channel。 Multiplex
mon/lib)下自带了postgre驱动包gsjdbc4-*.jar,与开源postgre服务不兼容导致报错。 报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*
Flink应用性能调优建议 Savepoints相关问题解决方案 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 如何处理blob.storage.directory配置/home目录时,启动yarn-session失败的问题?
主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。另外,主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 父主题: 集群管理
创建子租户的用户,至少需要绑定父租户对应的角色。 管理租户 管理租户目录 恢复租户数据 清除租户非关联队列 删除租户 管理租户是随着业务变化对租户进行的编辑操作。 管理或删除一级租户的用户,以及恢复租户数据的用户,需要绑定“Manager_administrator”或“System_administrator”角色。
计算)能够支持50~100并发,对于简单的SQL查询,支持100~200左右查询。 如果集群有混合负载(要求极致性能的点查/范围查询和有大数据量聚合及join查询),建议将不同类型的负载拆分到不同集群;对于集群规划有远远超过100个并发业务系统,也需要设计将业务分摊到不同的集群。
1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager,滚动重启Hive以及相关依赖服务,重启MRS
FlinkServer REST API样例程序开发思路 场景说明 本样例调用FlinkServer的RestAPI创建租户。 数据规划 准备用户认证文件:登录Manager下载用户凭证,获取“user.keytab”和“krb5.conf”文件。 准备待创建的租户信息,如“te
> Hive > Hive读写权限”,根据不同任务场景,勾选不同权限,单击“确定”保存。 说明: 在默认数据库中,查询其他用户表的权限:勾选“查询”。 在默认数据库中,导入数据到其他用户表的权限:勾选“删除”和“插入”。 Flink 在“配置资源权限”的表格中选择“待操作集群的名称
滚动重启时运行在重启实例上的任务将失败,可以向其他节点提交任务。 10个节点耗时约50分钟。 Flume 直接重启 停止期间数据流中断,启动后恢复。 直接重启耗时约5分钟。 滚动重启 滚动重启时,重启节点数据流将停止,启动后恢复。 滚动重启10个节点耗时约30分钟。 Hue 直接重启 重启期间Hue页面无法访问。
testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。 batchNum 10 写入数据的总批次。 ClickHouse
testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。 batchNum 10 写入数据的总批次。 ClickHouse
过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。
参数 说明 默认值 spark.sql.streaming.stateStore.providerClass 用于管理有状态流查询中的状态数据的类。此类必须是StateStoreProvider的子类,并且必须具有零参数构造函数。 配置参数值为org.apache.spark.sql
输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: