检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。 客户价值 MRS的自动弹性伸缩可以帮助用户实现以下价值。
HBaseConfiguration.create(jsc.hadoopConfiguration()); // 创建和hbase的连接通道 Connection connection = ConnectionFactory.createConnection(hbConf);
件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元组和时间的双重属性。流上的任何一个元素，都可以用Element<tuple
如： 在Ranger WebUI界面取消用户admintest的所有权限： 使用admintest用户登录CDL WebUI界面后，该用户可以在“作业管理界面”操作自己创建的任务： 可能原因 用户未删除Ranger策略上的“{OWNER}”权限。 处理步骤 使用admin用户登录FusionInsight
已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。 配置安全登录 请根据实际情况，在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中修改“userName”为实际用户名，例如“developuser”。 private
ferDecoder$1.next(BlockListAsLongs.java:363) 数据目录中数据块的数量会显示为Metric。用户可以通过以下URL对该值进行监视http://<datanode-ip>:<http-port>/jmx，如果该值超过4倍的限定值（4*1M）
NameNode启动慢。 当出现这种现象时，您可以通过如下方式提升NameNode的启动速度。 删除大量文件时，不要立刻重启NameNode，待DataNode删除了对应的Block后重启NameNode，即不会存在这种情况。 您可以通过hdfs dfsadmin -report
#checkBlockplacementLog checkAutoDiskBalancer } 保存文件后，登录Manager，选择“集群 > 服务 > HDFS > 实例”，勾选所有NameNode实例，选择“更多 > 重启实例”。 父主题： 使用HDFS
采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以。 使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常： Caused by: org.apache.hudi.exception
ark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2
“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 分区键：配置是否为分区列。可以不指定分区列，也可以指定多个分区列。配置多个列为分区列时，会按照配置列的先后顺序对其进行拼接。 map 是 无 数据处理规则 将字段值输出到Hive表中。
“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 分区键：配置是否为分区列。可以不指定分区列，也可以指定多个分区列。配置多个列为分区列时，会按照配置列的先后顺序对其进行拼接。 map 是 无 数据处理规则 将字段值输出到SparkSQL表中。
“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 分区键：配置是否为分区列。可以不指定分区列，也可以指定多个分区列。配置多个列为分区列时，会按照配置列的先后顺序对其进行拼接。 map 是 无 数据处理规则 将字段值输出到Hive表中。
LIKE句式，完全复制原有的表结构，包括表的存储格式。 根据查询结果创建新表，使用CREATE AS SELECT句式。 这种方式比较灵活，可以在复制原表表结构的同时指定要复制哪些字段，不包括表的存储格式。 样例代码 -- 创建外部表employees_info. CREATE EXTERNAL
LIKE句式，完全复制原有的表结构，包括表的存储格式。 根据查询结果创建新表，使用CREATE AS SELECT句式。 这种方式比较灵活，可以在复制原表表结构的同时指定要复制哪些字段，不包括表的存储格式。 样例代码 -- 创建外部表employees_info. CREATE EXTERNAL
查询指定作业的exe对象详细信息。该接口不兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.1/{project_id}/job-exes/{job_exe_id}
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log
-p 20051 -U USER -W PASSWD -d hivemeta 执行以下命令可以查看Hive元数据库中的所有元数据表： \d+ 执行q退出查看元数据表页面。 执行以下命令可以查看元数据表中的数据： select * from 表名; DBServer主节点的IP地址可登录Manager界面，选择“集群
图1 Avro Source 表1 Avro Source常用配置 参数 默认值 描述 channels - 与之相连的Channel，可以配置多个。用空格隔开。 在单个代理流程中，是通过channel连接sources和sinks。一个source实例对应多个channels
建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小时，建议把其设置成和“-XX:MaxNewSize”相同，均为“-Xmx”大小的1/8。 当HBase集群规模越大、Region数量越多时，可以适当调大HMaster的GC
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
