检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。 spark-service-check
对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务，集群未完全启动前无法提供服务。 更改DataNode单个实例的存储目录需要停止并重新启动实例，该节点DataNode实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录，需要更新为新目录。 前提条件 在各
blocksize”为512的倍数。 重新下载安装客户端或者更改客户端配置。 dfs.blocksize是客户端配置，以客户端为准。若客户端不配置，以服务端为准。 父主题： 使用HDFS
参考Hive JDBC代码用例开发的业务应用运行失败 问题背景与现象 用户参考Hive组件的“jdbc-examples”样例工程，完成其自身业务应用开发后，运行此应用失败。应用侧报如下异常： .......... 2017-05-11 14:33:52.174 ERROR
mapred-default.xml文件解析异常导致WebHCat启动失败 用户问题 MRS的Hive服务故障，重新启动后，Master2节点上的HiveServer和WebHCat进程启动失败，Master1节点进程正常。 原因分析 登录Master2节点，查看“/var/lo
HDFS日志文件过大导致OS盘空间不足 用户问题 OS盘/var/log分区空间不足。 问题现象 “/var/log/Bigdata/hdfs/*/hdfs-omm-*.out”日志文件过大，造成OS盘/var/log分区空间不足。 原因分析 在HDFS长时间运行场景下，操作系统会把JVM创建的“/tmp/
性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 服务 > HDFS > 配置”，选择“全部配置”。在搜索框中输入参数名称。 表1 HDFS写性能优化配置 参数 描述 默认值 dfs.datanode
MRS的Storm集群提交任务时如何指定日志路径？ 问： MRS的Storm集群提交任务时如何指定日志路径？ 答： 用户可以根据自己的需求，修改MRS的流式Core节点上的“/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml
Hive使用beeline -e执行多条语句报错如何处理？ MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错： Error while compiling statement: FAILED: ParseException
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见Impala样例程序指导。
创建HDFS目录 功能简介 创建目录过程为： 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在，则直接返回。 如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei
追加信息到HDFS指定文件 功能简介 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为： 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。 代码样例 如下是代码片段，详细代码请参考com
创建HDFS多线程任务 功能简介 建立多线程任务，同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2：多线程 final int THREAD_COUNT
kClient.java:985) ... 8 more (kafka.admin.TopicCommand$) 可能原因 Kafka服务处于停止状态。 客户端命令中ZooKeeper地址参数配置错误。 原因分析 使用客户端命令，打印NoNodeException异常。 Error
通过Hive beeline命令行执行插入命令的时候报错 问题现象 在MRS Hive的beeline中执行insert into插入语句时系统报以下错误： Mapping run in Tez on Hive transactional table fails when data
ClickHouse分区设计 合理设置分区键，控制分区数在一千以内，分区字段使用整型。 分区part数与查询性能关系 图1 分区part数与查询性能关系图 分区建议 建议使用toYYYYMMDD（pt_d）作为分区键，pt_d是date类型。 如果业务场景需要做小时分区，使用pt
ClickHouse索引设计 一级索引设计 在建表设计时指定主键字段的建议：按查询时最常使用且过滤性最高的字段作为主键。依次按照访问频度从高到低、维度基数从小到大来排列。数据是按照主键排序存储的，查询的时候，通过主键可以快速筛选数据，合理的主键设计，能够大大减少读取的数据量，提升
使用Hue提交Oozie Sub workflow作业 操作场景 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“子Workflow”按钮，将其拖到操作区中。 在弹出的“Sub
只有安全模式支持禁用Transform功能，普通模式不支持该功能。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
RangerHiveAuthorizerFactory 单击“保存配置”，并勾选“重新启动受影响的服务或实例。”重启Hive服务。 添加访问控制策略，即Policy。 登录Ranger WebUI界面。 在HIVE区域单击已添加的服务名称“hivedev”。 单击“Add New Policy”，新增访问控制策略。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
