检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
metastore.warehouse.dir" do not conflict. 原因分析 当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求，请对照下述要求是否满足： 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。
因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default.conf文件中的spark
ontainer临时目录，当container退出时，由container自动清理该目录，因此yarn-cluster模式不存在此问题。 解决措施 可在Linux下设置/tmp临时目录自动清理，或修改客户端中spark-defaults.conf配置文件的spark.local.
on中合并多个小文件来减少输出文件数及执行重命名文件操作的时间，从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题，对于以下场景仍然需要较多时间： 对于动态分区表，如果其分区数非常多，那么也需要执行较长的时间。 父主题： Spark SQL性能调优
限进行控制。 使用Ranger管理各组件权限时，如管理hive表权限，在管理控制台或者客户端提交hive作业（操作hive数据表），可能会提示当前用户没有权限，需要在Ranger中给提交作业的用户配置具体数据库或者表权限，以免影响用户使用提交作业功能，具体请参考在Ranger中配
Manager首页，选择“运维 > 告警 > 告警 > Kafka默认用户状态异常 > 定位信息”。查看告警上报的实例的主机名。 根据告警提示的主机信息，登录到该节点上。 执行id -Gn kafka，查看返回结果是否报"No such user"。 是，记录当前节点主机名，并执行4。
用户密码为创建集群时用户自定义的密码。 如果集群开启Kerberos认证，执行如下命令进入客户端安装目录并设置环境变量，再认证用户并按照提示输入密码，该密码请向管理员获取。 cd 客户端安装目录 source bigdata_env kinit hdfs 如果集群未开启Kerb
登录Ranger管理页面。 选择“Settings > Users/Groups/Roles > Roles > Add New Role”。 根据界面提示填写Role的名称与描述信息。 添加Role内需要包含的用户、用户组、子Role信息。 在“Users”区域，选择系统中已创建的用户，然后单击“Add
执行如下命令修改default或clickhouse用户密码： ./change_password.sh 如下所示：以clickhouse用户为例，按照提示输入clickhouse和密码，等待密码修改完成。 密码复杂度要求： 密码长度限制是8~64位。 至少包含一个小写字母、一个大写字母、一个
总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时，会出现上述错误。 图1 应用场景 解决措施： 方式一：推荐优化Spark Streaming应用程序中定义的批次时间，降低批次时间，可避免超过Kafka定义的阈值。一般建议以5-10秒/次为宜。
享受着包周期的优惠。 您只需要打开MRS服务页面，通过界面操作便可扩容出您需要的节点数。整个扩容过程无需后台人工介入，只需几分钟，即可完美解决您遇到的日益上涨的业务数据压力。 缩容集群 用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS
登录Ranger管理页面。 选择“Settings > Users/Groups/Roles > Roles > Add New Role”。 根据界面提示填写Role的名称与描述信息。 添加Role内需要包含的用户、用户组、子Role信息。 在“Users”区域，选择系统中已创建的用户，然后单击“Add
dc=hadoop,dc=com -e ppolicy 输入LDAP管理账户krbkdc的密码（默认密码为LdapChangeMe@123），出现如下提示表示该用户被锁定，则需要解锁用户，具体请参见解锁MRS集群LDAP管理账户。 ldap_bind: Invalid credentials
conf > OK”，从而完成资源目录的设置，如“图7”所示。 图7 设置工程资源目录 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File > Settings”。 在弹出的“Settings”窗口左边导航上选择“Editor
Project会话框中选择样例工程文件夹“mapreduce-example-security”，单击“OK”。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File> Settings”。 在弹出“Settings”窗口左边导航上选择“Editor
如果该异常是Kudu服务初次安装时出现，可能是KuduMaster没能同时启动，造成数据不一样导致启动失败。可以通过如下步骤清空数据目录，重启Kudu服务解决。如果非初次安装，清空数据目录会造成数据丢失，请先进行数据迁移再进行数据目录清空操作。 查找数据目录fs_data_dir, fs_wal_dir
件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本，登录FusionInsight Manager页面，在“主页”右上方单击“下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
en后（配置方式参考配置华为开源镜像仓）， 相关依赖jar包将自动下载，不需手动添加。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File> Settings”。 在弹出的“Settings”窗口左边导航上选择“Editor
当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。 如果遇到上述问题，可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面，即可查看到正确的页面信息。 如果用户场景需要同时访问50个以上的Spark应用时，需要调大“spark
datasource.write.recordkey.field产生主键和分区方式。 说明： 写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。 org.apache.hudi.keygen.ComplexKeyGenerator 父主题： Hudi常见配置参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
