检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在HAConnection的第三个参数填写正确的用户名,密码可以不填写。创建连接,执行HQL,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容,输出查询的列名和结果到控制台。 try: with HAConnection(hosts = hosts,
登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。
登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。
登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。
enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false
bytes) * 100, 0) "压缩率" from system.parts; --查询test表容量。where条件根据实际情况添加修改 select sum(rows) as "总行数", formatReadableSize(sum(data_uncompressed_bytes))
超过阈值。 处理步骤 检查非堆内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43007”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群
97 98 99 100 101 102 // 参数解析: // <filePath>为文本读取路径,用逗号分隔。 // <windowTime>为统计数据的窗口跨度,时间单位都是分。 public class FlinkStreamJavaExample
datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du
在“Sqoop连接”中输入指定连接的名称,可以筛选该连接。 编辑连接 在Loader页面,单击“管理连接”。 单击指定连接的名称,进入编辑页面。 根据业务需要,修改连接配置参数。 单击“测试”。 如果显示测试成功,则执行5;如果显示不能连接至OBS Server,则需要重复3。 单击“保存”。 如果某
Maven Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如图2所示。 图2 hbase-example待编译目录列表 编译方式有以下两种。 方法一 选择“Maven >
kafka-examples-lib目录。 在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹(此处为“kafka-examples-lib”)拷贝到MRS服务的某个Linux环境上任意目录下,例如:“/opt/example”,然后将刚才生
使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明
Manager。 选择“集群 > 服务 > Hive > 配置 > 全部配置”进入Hive服务配置页面,选择“HiveServer(角色) > 自定义”修改HiveServer角色的“hive-site.xml”自定义配置文件,增加HBase配置文件的如下配置项。 从已下载的HBase客户端配置文件的hbase-site
使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。
base。 Client 使用DBService组件的客户端,部署在组件实例节点上,通过Floatip连接数据库,执行元数据的增加、删除、修改等操作。 DBService与其他组件的关系 DBService是集群的基础组件,Hive、Hue、Oozie、Loader等组件将元数据
-site.xml”中的kerberos相关信息一致。“hdfs-site.xml”中kerberos的配置mapred改为hdfs,需要修改的地方如图1所示。 图1 hdfs-site.xml 父主题: 调测HDFS应用
早的日志文件,但是另一个进程依旧占用此文件句柄,从而产生了deleted状态的文件。 处理步骤 将Spark的executor日志输出目录修改成其他名称: 打开日志配置文件,默认在“<客户端安装目录>/Spark/spark/conf/log4j-executor.properties”。
java,确认代码中System.setProperty("HADOOP_USER_NAME", "root");设置了用户为root,请确保场景说明中上传的数据的用户为root,或者在代码中将root修改为上传数据的用户名。 在IntelliJ IDEA开发环境中,选中“MultiComponentLocalRunner
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 参数值示例 描述 security.ssl.internal.enabled true 打开内部SSL开关。