检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题： 使用Yarn
useTicketCache=false storeKey=true debug=true; }; 文件内容中的test@<系统域名>为示例，实际操作时请做相应修改。 在Linux环境中添加样例工程运行所需的classpath，例如： export YARN_USER_CLASSPATH=/opt/c
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
使用Flux框架定义及部署业务拓扑，在业务DAG发生变化时，只需对YAML DSL（domain-specific language）定义进行修改，无需重新编译及打包业务代码。 与外部组件集成 支持与多种外部组件集成，包括：Kafka、HDFS、HBase、Redis或JDBC/RD
-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限： cd ${BIGDATA_HOME}/FusionInsight_Porter_*/install/FusionInsight-Sqoop-1
ve dialect时，必须使用反引号（`）引用此类关键字，才能将其用作标识符。 在Hive中不能查询在Flink中创建的视图。 【示例】修改SQL解析为Hive语法（sql-submit-defaults.yaml）： configuration: table.sql-dialect:
bigdata_env 运行此样例代码需要设置运行用户，设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下，执行以下语句添加环境变量： export HADOOP_USER_NAME=test 用户可向管理员咨询运行用
Interceptors Flume的拦截器（Interceptor）支持在数据传输过程中修改或丢弃传输的基本单元Event。用户可以通过在配置中指定Flume内建拦截器的类名列表，也可以开发自定义的拦截器来实现Event的修改或丢弃。Flume内建支持的拦截器如下表所示，本章节会选取一个较为复杂的
建议使用spark-sql或者在Beeline/JDBCServer模式下使用spark用户来执行INSERT...SELECT操作，避免执行更改文件owner的操作，从而减少执行INSERT...SELECT语句的时间。 在Beeline/JDBCServer模式下，executo
设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从Loader导出数据到关系型数据库？ 是，执行2。 否，执行3。 修改关系型数据库对应的驱动jar包文件权限。 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径：“${BIGDAT
并校验目录权限。在提交作业之前，应按照默认的NameService文件夹权限更改ViewFS文件夹权限。 下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配，则必须相应地更改目录权限。 表1 ViewFS中配置的目录的默认权限结构 参数 描述 默认值
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题：
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 规划HDFS容量 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题： 使用HDFS
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径，根据实际路径修改，但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径，根据实际路径修改，但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
f”文件夹复制到ClickHouse客户端安装目录下，例如“客户端安装目录/JDBC”目录下。 登录客户端节点，进入jar文件上传目录下，修改文件权限为700。 cd /opt/Bigdata/client chmod 700 clickhouse-examples.jar 在“clickhouse_examples
BC二次样例； “客户端安装目录/JDBCTransaction”目录，用来调测事务二次样例。 登录客户端节点，进入jar文件上传目录下，修改文件权限为700。 cd 客户端安装目录/JDBC 或：cd 客户端安装目录/JDBCTransaction chmod 700 clickhouse-examples-*
-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限： cd ${BIGDATA_HOME}/FusionInsight_Porter_xxx/install/FusionInsight-Sqoop-1
执行如下命令创建目录“/user/hetuserver/fiber/extra_file/driver/mysql”，并上传2获取的MySQL驱动，然后修改对应的权限。 hdfs dfs -mkdir -p /user/hetuserver/fiber/extra_file/driver/mysql
FS时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持，可对应修改集群中SSL协议。例如，若Curl仅支持TLSv1协议，修改方法如下。 登录MRS Manager页面，单击“服务管理 > HDFS > 服务配置”，在“参数类别”选择
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
