检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
password:RDS服务MySQL数据库用户密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQL实例连接。 在MySQL数据库上创建表,并插入数据。
CDLConnector:“/var/log/Bigdata/cdl/connector”(运行日志)。 日志归档规则:CDL日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.<yyyy-mm-dd_hh-mm-ss>
\进行转义。可参考Shell的转义字符规则。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。
”时输入的密码保持一致,执行以下命令运行参数。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 --topic topic1 --bootstrap.servers 10.96.101.32:9093 --security
(运行日志),“/var/log/Bigdata/audit/yarn/nm”(审计日志) 日志归档规则:Yarn的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
JobConf:MapReduce作业的配置类,是用户向Hadoop提交作业的主要配置接口。 表1 类org.apache.hadoop.mapreduce.Job的常用接口 功能 说明 Job(Configuration conf, String jobName),Job(Configuration conf) 新
Java样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
Scala样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com
ta/ranger/policysync”(运行日志,MRS 3.3.0及之后版本)。 日志归档规则:Ranger的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
99.3 执行以下命令,对非加密密码进行加密。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 ./encrypt_tool 未加密的密码 得到加密后的密文,作为“authentication.password”的取值。
目的端集群。 在CDM集群中选择“作业管理”的“表/文件迁移”页签。 在迁移作业的“操作”列选择“更多 > 配置定时任务”。 开启定时执行功能,根据具体业务需求设置重复周期,并设置有效期的结束时间为所有业务割接到新集群之后的时间。 图5 配置定时任务 父主题: 数据迁移
Flink DataStream Java样例代码 功能简介 统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.flink.example.stream.FlinkStreamJavaExample:
会基于YARN的配置是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 日志归档规则: MapReduce的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示,具体代码参见“com
DFS临时目录中。 集群默认会在查询结束时完成缓冲区文件清理,且每小时检测并清理存在超期1天的残留缓冲区文件,可通过如下操作关闭周期性清理功能: 登录Manager,选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 > HSBroker(角色) > 容错执行”,将参数“fte
也有可能是集群上的LdapServer数据损坏,此时数据损坏的LdapServer进程将无法对外提供服务,影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。 处理步骤
99.3 执行以下命令,对非加密密码进行加密。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 ./encrypt_tool 未加密的密码 得到加密后的密文,作为“authentication.password”的取值。
会基于YARN的配置是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 日志归档规则: MapReduce的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
(运行日志),“/var/log/Bigdata/audit/yarn/nm”(审计日志) 日志归档规则:Yarn的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
图重写时会消耗一定的时间,添加该参数可限制重写所带来的性能损耗,物化视图重写超时后会执行原始SQL。 若使用Session级别开启物化视图功能,并需要开启物化视图重写超时控制,可先执行set session materialized_view_rewrite_timeout = 5。