检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多个Agent组成，而每个Agent是由Source、Channel、Sink三个模块组成，数据先进入Source然后传递到Channel，最后由Sink发送到下一个Agent或目的地（客户端外部）。
图1 创建目录样例命令 进入到客户端的安装目录下，此处为“/opt/client”，创建名为“huawei”的目录。 执行下列命令，查看当前是否存在名为“huawei”的目录。
使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
认证如果当前集群为安全集群，执行以下命令认证当前用户，当前用户需要具有读写HBase表的权限和HDFS的操作权限： kinit 组件业务用户 如果当前集群未启用Kerberos认证，则执行以下命令设置Hadoop用户名： export HADOOP_USER_NAME=hbase 执行以下命令进入
单击“实例”，进入HDFS实例界面，找到“NameNode(hacluster,主)”的主机名（host）和对应的IP。 单击“配置”，进入HDFS服务配置界面，找到“namenode.http.port”（9870）和“namenode.https.port”（9871）。
principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交keytab文件，这样才能保证keytab文件被加载到executor的container中 进入
context.write(key, result); } /** * setup()方法只在进入map任务的map()方法之前或者reduce任务的reduce()方法之前调用一次。
context.write(key, result); } /** * setup()方法只在进入map任务的map()方法之前或者reduce任务的reduce()方法之前调用一次。
principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交keytab文件，这样才能保证keytab文件被加载到executor的container中 进入
如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数，进入Hive服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效，无需重启服务。
进入“/opt/client/Spark2x/spark/bin”，执行mergetool.sh脚本。
执行cd命令进入客户端安装目录，然后执行source bigdata_env命令设置环境变量。 如果集群采用安全版本，要进行安全认证。 执行kinit hdfs命令，按提示输入密码。向MRS集群管理员获取密码。
在Derby的安装目录下，进入bin目录，输入如下命令。
如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数，进入Hive服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效，无需重启服务。
如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。
单击“实例”，进入HDFS实例界面，找到“NameNode(hacluster,主)”的主机名（host）和对应的IP。 单击“配置”，进入HDFS服务配置界面，找到“namenode.http.port”（9870）和“namenode.https.port”（9871）。
表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明： hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles {hfilePath} {tableName} 数据规划 在客户端执行：hbase shell命令进入
进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Java或Scala样例代码： bin/spark-submit --master yarn --deploy-mode client
表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明： hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles {hfilePath} {tableName} 数据规划 在客户端执行：hbase shell命令进入
如果您需要修改日志级别，请执行如下操作： 进入HBase服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
