检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 执行以下命令切换到Kafka客户端安装目录。
Cookie”、“flink.keystore”文件和“flink.truststore”文件。 执行sh generate_keystore.sh，输入用户自定义密码。密码不允许包含#。 说明： 执行脚本后，在Flink客户端的“conf”目录下生成“flink.keystore”和“flink
表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志 /hiveserver/hive.log HiveServer进程的运行日志 /hiveserver/hive-omm-<日期>-<PID>-gc
表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志 /hiveserver/hive.log HiveServer进程的运行日志 /hiveserver/hive-omm-<日期>-<PID>-gc
FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别，请执行如下操作： 请参
在左侧导航栏中选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在页面右上角单击“运维”，选择“集群节点授权”，选择授权给华为云支持人员访问本机的权限的“截止时间”。在截止时间之前支持人员有临时访问本机的权限。 配置完成后，勾选确认信息，单击“确定”，并进行二次确认。 问题解决
冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间） 无条件迁移数据 表1 规则条件标签
查看Flume Agent运行用户对步骤13所指定的监控目录是否有可读可写可执行权限。 是，执行17。 否，执行16。 使用Flume运行用户进入监控目录，若可以创建文件，这说明Flume运行用户是否对该监控目录具有可读可写可执行权限。 执行“chmod 777 Flume监控目录”命令赋予Flume
checkpoint.interval 垃圾检查点间的间隔。单位：分钟。应小于等于“fs.trash.interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如，系统每10分钟检测是否存在老化文件，如果发现有老
在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。 当前Flink系统支持认证和加密传输，要使用认证和加密传输，用户需要做如下准备：
下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkOnStreamingToHbase /** * 运行streaming任务，根据value值从hbase table1表读取数据，把两者数据做操作后，更新到hbase table1表 */ public
定的IoTDBSourceOptions并在IoTDBSource中实现抽象方法convert()，convert()定义了您希望如何转换行数据。 其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在
LOG.info("Start to consume messages"); // 等到180s后将consumer关闭，实际执行过程中可修改 try { Thread.sleep(consumerThread.getThreadAliveTime());
MRS 3.x及之后版本： 16384 参数入口： MRS 3.x之前版本：需要在MRS控制台上进行配置。 MRS 3.x及之后版本：需要在FusionInsight Manager系统进行配置。 参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务（map
/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中，运行结束后会基于YARN的配置是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 日志归档规则： MapReduce的
FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别，请执行如下操作： 请参
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量： cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证，用户密码请咨询集群管理员。
g/checkfileconfig.log”，根据错误日志分析原因。在参考信息中查找该文件的检查标准，并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式，按“Insert”键开始编辑。 修改完成后按“Esc”键退出编辑模式，并输入:wq保存退出。 例如：
checkpoint.interval 垃圾检查点间的间隔。单位：分钟。应小于等于“fs.trash.interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如，系统每10分钟检测是否存在老化文件，如果发现有老
Manager首页，选择“运维 > 告警 > 告警”，找到本告警，根据告警中的“定位信息”和“附加信息”分析告警原因。 参考下表，根据告警附加信息说明和处理方式进行处理。 告警附加信息 说明 处理方式 n ClickHouseServer instances should be added to other
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
