检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
multicast.bind.address.ip</name> <value>226.1.1.3</value> </property> 验证客户端是否成功开启Multicast功能。 在HBase客户端开启读写任务,并确认读写的目标Region所在RegionServer。在读
出现上述问题的原因是:当spark-sql退出时,应用退出关闭消息通道,如果当前还有消息未处理,需要做连接关闭异常的处理,此时,如果scala内部的线程池已经关闭,就会打印RejectEdExecutionException的异常栈,如果scala内部的线程池尚未关闭就不会打印该异常栈。 因为该问题出现
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 显示类似如下信息,表示Maxwell启动成功。 Success to start Maxwell [78092]. 验证Maxwell 登录Maxwell所在的服务器。 查看
在已有弹性伸缩策略右边单击“删除”按钮,在弹出的对话框中单击“确定”。 开启或关闭已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略上单击“启用/关闭弹性伸缩策略”。 父主题: MRS集群Task节点弹性伸缩
本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序(https://maxwells-daemon.io),通过读取MySQL的binlog日志,将增删改等操作转为JSON格式发送到输出端(如控制台
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1
创建Python任务 登录到集群Manager界面,在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时,报错如下: 参考以下步骤进行处理: 执行命令python
"test02"); 参考Hive数据脱敏,给hivetest表的字段b配置脱敏策略,验证脱敏是否生效: select * from hivetest; 如下图显示则表示数据脱敏成功: 图1 配置脱敏策略成功 验证脱敏策略的传递性: create table hivetest02 as select
操作场景 本章节主要介绍ClickHouse连接普通模式的Kafka,消费Kafka的数据。 前提条件 已创建Kafka集群,且为普通模式(关闭Kerberos认证)。 已创建ClickHouse集群,并且ClickHouse集群和Kafka集群网络可以互通,并安装ClickHouse客户端。
优化 set session materialized_view_rewrite_enabled=true; - 验证查询是否能通过改写成物化视图进行SQL优化 验证查询SQL语句能否被mv.default.mv1改写优化 verify materialized view mvname(mv
读HDFS文件 功能简介 获取HDFS上某个指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 /** * 读文件 * *
esourceManager (备)”实例,选择“更多 > 重启实例”,验证密码后重启实例。 等待备实例重启成功后,单击Yarn的“概览”页签,选择“更多 > 执行ResourceManager倒换”,验证密码后执行主备倒换。 等待主备倒换完成后,在Yarn服务页面选择“实例”页
Manager,选择“集群 > 服务 > Kafka > 更多 > 下载客户端”,下载客户端压缩文件到本地机器。 使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。 执行命令如下: keytool -noprompt -import -alias myservercert
配置DBService HA模块的SSL 操作场景 本任务将对安装DBService的集群进行手动配置DBService服务HA模块SSL的操作。 执行该操作后,如需还原,请执行还原DBService HA模块的SSL配置。 前提条件 MRS集群内主、备DBService节点的“
还原DBService HA模块的SSL配置 操作场景 本任务将对安装DBService的集群进行还原DBService服务HA模块SSL的操作。 前提条件 DBService服务HA模块已开启SSL配置。 检查DBService服务HA模块是否开启SSL配置: 查看“$BIGD
e客户端,验证Ranger是否已经完成集成HBase。 以客户端安装用户登录客户端安装节点,执行如下命令,进入hbase shell。 source /opt/client/bigdata_env hbase shell 图7 进入hbase shell 添加数据,验证Ranger是否已经集成成功。
e=zooKeeper;zooKeeperNamespace=hiveserver2 图4 登录Hive 查询数据,验证Ranger是否已经集成成功。 图5 验证Ranger集成Hive 父主题: 使用Ranger(MRS 1.9.2)
样式。 本操作默认以“平铺视图”进行介绍。 在指定服务窗格右上角选择“ > 停止服务”验证密码并确认操作影响后,单击“确定”。 也可以单击待操作的服务名称,单击“概览”页右上角“停止服务”,验证密码并确认操作影响后,单击“确定”。 MRS 2.x及之前版本: 登录Manager后,单击“服务管理”。
*”表示读取其路径是以“/test”开头的所有文件。 说明: 为确保一致性,配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分,而不验证在Fully Qualified路径情况下的schema和authority。 - dfs.client.metadata.cache