检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DATA任务。如果Executor不是不同的节点分配的,CarbonData将会启动较少的task。 解决措施: 您可以适当增大Executor内存和Executor核数,以便YARN可以在每个节点上启动一个Executor。具体的配置方法如下: 配置Executor核数。 将“spark-defaults
数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testFilterList方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。
] } ] } 上述的“Resource”配置表示可访问配置的并行文件系统系统的所有资源,guardian-obs为创建OBS并行文件系统创建的OBS并行文件系统名称。 单击“下一步”,在“选择策略”页面勾选5创建的策略名称。 单击“下一步”,在“选择授权范
设置此权限,拥有Topic的创建、删除等权限,但是不具备任何Topic的生产和消费权限。 设置用户对Topic的生产权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。 在指定Topic的“权限”列,勾选“Kafka生产者权限”。
appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行
Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partition上的数据。若Consumer的并发量多于Partition个数,那么多余的Consumer将消费不到数据。
Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partition上的数据。如果Consumer的并发量多于Partition个数,那么多余的Consumer将消费不到数据。
要接收发布至主题的消息,您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端,订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅,将会收到推送至主题的消息。如果订阅者在48小时之内没有确认订阅,则需要再次给订阅者发送订阅确认的消息。 登录管理控制台。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询用户(组)与IAM委托的映射关系成功 400 查询用户(组)与IAM委托的映射关系失败 错误码 请参见错误码。 父主题:
java:745) 如果发生此异常,请为租户配置足够的磁盘空间配额。 例如: 需要的磁盘空间配置可以按照如下方法计算: 如果HDFS的副本数为3, HDFS默认的块大小为128MB,则最小需要384MB的磁盘空间用于写表的schema文件到HDFS上。计算公式:no. of block
区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 计费模式 选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 MRS_demo 版本类型 待创建的MRS集群版本类型。 普通版
客户端运行环境已安装1.7或1.8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主
Hive”,勾选“Hive管理员权限”。 单击“用户”,单击1.c新创建的用户所在行的“修改”。 在修改用户页面,单击“角色”右侧的添加,添加新创建的具有Hive管理员权限的角色,单击“确定”。 把以上程序打包成AddDoublesUDF.jar,并上传至客户端安装节点,例如“op
据输入系统的过程中,对数据进行处理。 例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。 图3 梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集:利用Flume实现实时数据采集,并提供丰富的采集和存储连接方式。 海量的数据源接入
appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。
这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时,将扫描表的所有物理块并跳过某些行(基于采样百分比和运行时计算的随机值之间的比较)。结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。
Region,增加2G的“-Xmx”,整体的“-Xmx”的大小不超过32G。 RegionServer的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小的时候,建议把其设置为“-Xmx”大小的1/8。
删除资源目录 定制租户监控指标 健康检查 启动集群的健康检查 启动服务的健康检查 启动主机的健康检查 启动oms健康检查 启动系统的健康检查 更新健康检查的配置 导出健康检查报告 导出集群健康检查的结果 导出服务健康检查的结果 导出主机健康检查的结果 删除健康检查历史报告 导出健康检查历史报告
新最近一次全量备份的备份数据,所以不会产生新的恢复点。 在“备份配置”,勾选“DBService”和“Kafka”。 在“DBService”的“路径类型”,选择一个备份目录的类型。具体参数配置要求请参考7。 在“Kafka”的“路径类型”,选择一个备份目录的类型。具体参数配置要求请参考7。