检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{BrokerList} {Topic} 如果开启了kerberos认证，需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。
需要以“/”或“s3a://”开头。OBS路径不支持KMS加密的文件或程序。 Spark Script需要以“.sql”结尾，MapReduce和Spark Jar需要以“.jar”结尾，sql和jar不区分大小写。 默认取值： 不涉及 input 否 String 参数解释： 数据输入地址。 约束限制： 不涉及
架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
var hiveValue = iteratorArray(i).getInt(1) // 根据列簇和列，获取hbase值 val hbaseValue = Bytes.toString(resultData.getValue(columnFamily
Manager界面，选择“运维>日志>下载”。 在“服务”中勾选“Doris”，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，需要手动清除该告警。
Manager界面，选择“运维>日志>下载”。 在“服务”中勾选“Doris”，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，需手动清除该告警。
本章节只适用于MRS产品中Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm 0.10.0版本提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命
Alluxio应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Alluxio应用程序开发流程 表1 Alluxio应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Alluxio的基本概念。 Alluxio常用概念 准备开发和运行环境 Alluxio的客户端
无 类型 配置字段的类型，可选值为“VARCHAR”，“INTEGER”和“BIGINT”。 enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“随机值转换”算子，生成C、D、E三个字段：
用户可以根据业务需要，在MRS集群的客户端中进行交互式操作。启用Kerberos认证的集群，需要操作的用户属于“opentsdb，hbase，opentsdbgroup和supergroup”组且拥有HBase权限。 前提条件 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。
config/consumer.properties --enable-az-aware --show-details 该命令包含均衡方案的生成和执行两部分，其中--show-details为可选参数，表示是否打印方案明细，--throttle表示均衡方案执行时的带宽限制，单位:bytes/sec
html。 常用Command YARN Commands可同时供普通用户和管理员用户使用，它包含了少量普通用户可以执行的命令，比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，
html。 常用Command YARN Commands可同时供普通用户和管理员用户使用，它包含了少量普通用户可以执行的命令，比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，
Spark Streaming样例工程的数据存储在Kafka组件中（需要有Kafka权限用户）。 本地新建两个文本文件input_data1.txt和input_data2.txt，将log1.txt的内容复制保存到input_data1.txt，将log2.txt的内容复制保存到input_data2
从而导致Channel频繁被写满，进而影响性能表现。 Avro Source和Avro Sink一般都是成对出现，用于多个Flume Agent间进行数据中转，因此一般场景下Avro Source和Avro Sink都不会成为性能瓶颈。 模块间性能 根据模块间性能对比，可以看到对于前端是SpoolDir
上例所示，运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用Spark-Beeline工具创建Spark和HBase表table1、table2，并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。 使用Sp
架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限和HDFS的操作权限： kinit 组件业务用户 如果当前集群未启用Kerberos认证，则执行以下命令设置Hadoop用户名： export
examples.FemaleInfoCollector类： 样例1：类CollectionMapper定义Mapper抽象类的map()方法和setup()方法。 public static class CollectionMapper extends
为常用的过滤列创建索引。 例如，如果msname，host和dime_1是过滤经常使用的列，根据cardinality，sort_columns列的顺序是dime_1-> host-> msname…。创建表命令如下，以下命令可提高dime_1，host和msname上的过滤性能。 create table
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
