检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
式（SASL_PLAINTEXT），9092匹配普通模式（PLAINTEXT）。 pollTimeout 500 consumer调用poll()函数能接受的最大超时时间，单位：毫秒。 ignoreLongMessage false 是否丢弃超大消息。 messageMaxLength
点服务使更改的配置生效。 “hbase.rpc.protection”与“hbase.thrift.security.qop”参数值的对应关系为： "privacy" - "auth-conf" "authentication" - "auth" "integrity" - "auth-int"
后缀值“-suffixName”。 在导出作业中，支持修改导出文件的路径或者文件名“-outputPath”。 指定参数值为“rdb”表示关系型数据库连接器。 在导入作业中，支持修改数据库模式名“-schemaName”、表名“-tableName”、SQL语句“-sql”、要导
设置“委托名称”。例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”，授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。 在授权的确认弹窗中，单击“立即授权”，在弹出的授权页面，单击“新建策略”。
key-password”、“security.ssl.keystore-password”和“security.ssl.truststore-password”的值设置为调用“generate_keystore.sh”脚本时输入的密码。配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。
表分区个数 Hive所有表分区个数监控，返回值的格式为：数据库#表名，表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计，展示的信息包括：用户、HQL语句、Map数目。 HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布
该服务中所有角色实例状态为“未知”。 正在恢复 后台系统正在尝试自动启动服务。 亚健康 该服务所依赖的服务状态不正常，异常服务的相关接口无法被外部调用，此时与状态不正常服务相关的上层业务会受到影响。 HBase、Hive、Spark和Loader组件可显示“亚健康”（Subhealthy）状态。
式（SASL_PLAINTEXT），9092匹配普通模式（PLAINTEXT）。 pollTimeout 500 consumer调用poll()函数能接受的最大超时时间，单位：毫秒。 ignoreLongMessage false 是否丢弃超大消息。 messageMaxLength
导入样例工程。 图1 Spark Hive to HBase样例程序 在示例程序“SparkHivetoHbase”中，通过使用Spark调用Hive接口来操作Hive表，然后根据key值去HBase表获取相应记录，把两者数据做操作后，更新到HBase表。 关键代码片段如下： .
程会自动加载相关依赖包，具体操作可参考配置并导入样例工程。 图2 导入Kafka样例程序 在示例程序“WordCountDemo”中，通过调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，关键代码片段如下： ... static Properties
是omm用户，且权限为755。 运行DataStream（Scala和Java）样例程序。 在终端另开一个窗口，进入Flink客户端目录，调用bin/flink run脚本运行代码。 Java bin/flink run --class com.huawei.bigdata.flink
hive.implementation org.apache.spark.sql.hive.HiveACLClientImpl 指定Hive客户端调用的实现。启用Spark ACL时必须提供。 spark.sql.hiveClient.isolation.enabled false 启用Spark
output=</path/for/output>：表示执行结果输出路径，需指定一个不存在的路径。 <columns>：表示导入数据在表中的对应关系，例如，-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:gender,info:age,address:city
output=</path/for/output>：表示执行结果输出路径，需指定一个不存在的路径。 <columns>：表示导入数据在表中的对应关系，例如，-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:gender,info:age,address:city
// Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive final String driver = "org.apache.hive.jdbc.HiveDriver";
keystore、truststore相关配置文件。 运行DataStream（Scala和Java）样例程序。 在终端另开一个窗口，进入Flink客户端目录，调用bin/flink run脚本运行代码。 Java bin/flink run --class com.huawei.bigdata.flink
buffer 每个shuffle文件输出流的内存缓冲区大小（单位：KB）。这些缓冲区可以减少创建中间shuffle文件流过程中产生的磁盘寻道和系统调用次数。也可以通过配置项spark.shuffle.file.buffer.kb设置。 32KB spark.shuffle.compress
// Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive final String driver = "org.apache.hive.jdbc.HiveDriver";
MOVE：表示基于age规则识别出相应的数据冷热度，并标记出对应的存储策略后，并触发HDFS Auto Data Movement工具进行数据搬迁，调用HDFS冷热数据迁移工具并跨层迁移数据的行为操作。 SET_REPL：为文件设置新的副本数的行为操作。 MOVE_TO_FOLDER：将文件移动到目标文件夹的行为操作。
-h命令，查看输出内容是否包含“磁盘名”字段的值。 是，执行6。 否，执行5。 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是，执行6。 否，执行21。 以root用户登录上报告警的节点，执行lsscsi | grep "/dev/sd[x]"命令查看磁盘的设备信息，判断磁盘是否建立了RAID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
