检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于OMS系统进程运行的用户。 系统内部用户 集群提供的用于Kerberos认证、进程通信、保存用户组信息和关联用户权限的内部用户。系统内部用户不建议在操作与维护的场景下使用。请通过admin用户操作，或联系系统管理员根据业务需要创建新用户。 数据库用户 用于OMS数据库管理和数据访问的用户。 用于业务组件（
timeout”的默认时间为“600000ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，若实际规格（实际平均每个regonserver上regi
“/var/log/Bigdata/audit/dbservice/”（审计日志目录）。 日志归档规则：DBService的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过1MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。
能关闭防火墙，建议尝试关闭防火墙后查看问题能否解决；如果不能关闭防火墙，请检查防火墙配置策略，确保UDP 123端口未禁用（具体遵循各系统下防火墙配置策略）。 是，处理完毕。 否，执行3。 检查该节点NTP认证的key值与主OMS节点NTP服务的key值是否相同。 执行cat /etc/ntp
在FusionInsight Manager界面，选择“系统 > 权限 > 角色 > 添加角色”： 设置“角色名称”。 在“配置资源权限”下选择“待操作集群名称 >Hue”，勾选“存储策略管理员”，单击“确定”，为该角色赋予存储策略管理员的权限。 选择“系统 > 权限 > 用户组
“/var/log/Bigdata/audit/dbservice/”（审计日志目录）。 日志归档规则：DBService的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过1MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。
timeout”的默认时间为“600000ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，如果实际规格（实际平均每个regonserver上reg
elay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数，从而导致作业失败。 为了防止在failure-rate策略下的无限重启，推荐如下参数配置： restart-strategy: failure-rate restart-strategy.failure-rate
yaml”文件中的“parallelism.default”配置选项来指定所有执行环境的默认并行度。 配置进程参数 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。
UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法： 创建CheckSum函数（在default数据库下执行）： create function checksum_aggregate as 'com.huawei.hive.checksum.ChecksumUdaf'
Group中引入了查询排队的功能，在创建Workload Group时可以设置最大查询数，超出最大并发的查询将会进行队列中等待执行，以此来缓解高负载下系统的压力。 Doris租户角色和用户关联关系介绍 通过FusionInsight Manager服务配置和租户管理页面的操作，用户可以实现
KafkaUI：“/var/log/Bigdata/kafka/ui”（运行日志） 日志归档规则：Kafka的日志启动了自动压缩归档功能，默认情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号]
在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1.txt、input_data2.txt到此目录。 将生成的jar包上传至Spark2x运行环境下（Spark2x客户端），如“/opt/female”。 进入客户端目录，执行以下命令加载环境变量并登录。若安装了Spark2x多实例或者同
在Map阶段，有一个可选过程，将同一个key值的中间结果合并，叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口
在Map阶段，有一个可选过程，将同一个key值的中间结果合并，叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口
Archives归档任务实际上是执行一个MR应用程序，所以在每次执行日志归档任务后，会新增一条MR执行记录。 本功能归档的日志来源于日志收集功能，因此只有在日志收集功能开启状态下本功能才会生效。 父主题： MapReduce
/src/main/resources/conf”目录下。 hbase-examples/hbase-example（多集群互信场景） 将互信场景下的同名用户其中一个集群的配置文件放入“../src/main/resources/hadoopDomain”目录下，将另一集群的配置文件放入“
Map任务所产生的输出可以在写入磁盘之前被压缩，这样可以节约磁盘空间并得到更快的写盘速度，同时可以减少至Reducer的数据传输量。需要在客户端进行配置。 在这种情况下，磁盘的IO是主要瓶颈。所以可以选择一种压缩率非常高的压缩算法。 编解码器可配置为Snappy，Benchmark测试结果显示Snappy是非常平衡以及高效的编码器。
要在beeline中显示如此数量级的数据。 如数量在一定范围内需要显示，请调整hive客户端的jvm参数， 在hive客户端目录/Hive下的component_env中添加export HIVE_OPTS=-Xmx1024M（具体数值请根据业务调整），并重新执行source 客
件夹可通过“目录过滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。 例如迁移匹配“/user/test*”文件夹下文件，该场景下“文件格式”固定为“二进制格式”。 图3 配置作业参数 请参见配置HDFS目的端参数配置目的端连接的作业参数。 单击“下一步”进入任务配置页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
