检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代
get("krb5"); // krb5.conf路径 final String principal = paraTool.get("principal"); // 认证用户 System.setProperty("java.security
“-Xmx”近似相等,从而避免每次GC后调整堆的大小,从而引起性能下降。 同时,并且“-Xmx”与“XX:MaxPermSize”之和不得大于该节点服务器的实际物理内存值。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 服务或实例重启过程中,Loader不再对
参考Hive数据脱敏,给hivetest表的字段b配置脱敏策略,验证脱敏是否生效: select * from hivetest; 如下图显示则表示数据脱敏成功: 图1 配置脱敏策略成功 验证脱敏策略的传递性: create table hivetest02 as select *
python3-examples -R。 在python3-examples/pyCLI_nosec.py中的host的值修改为安装HiveServer的节点的业务平面IP,port的值修改为Hive提供Thrift服务的端口(hive.server2.thrift.port),默认值为“10000”。 执行以下命令运行Python3客户端:
“所有”,表示删除当前所有的作业。 “指定作业”,表示指定需要删除的作业。选择“指定作业”,在作业列表中勾选需要删除的作业。 单击“确定”,开始删除作业。当弹出框中进度条显示100%,则说明作业删除完成。 父主题: 管理Loader作业
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代
TABLE carbonTable; 上述命令可显示tablename为carbonTable的表的所有Segment信息。 SHOW SEGMENTS FOR TABLE carbonTable LIMIT 2; 上述命令可显示number_of_loads规定条数的Segment信息。
WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击文件。进入“文件浏览器”页面。 “文件浏览器”的“主页”默认进入当前登录用户的主目录。界面将显示目录中的子目录或文件的以下信息: 表1 HDFS文件属性介绍 属性名 描述 名称 表示目录或文件的名称。 大小 表示文件的大小。 用户 表示目录或文件的属主。
其中/dev/sd[x]为2中获取到的上报告警的磁盘名称。 例如执行: lsscsi | grep "/dev/sda" 如果命令执行结果第三列显示ATA、SATA或者SAS,说明磁盘没有建立RAID;显示其他信息,则该磁盘可能建立了RAID。 是,执行12。 否,执行8。 执行smartctl -i /dev/s
html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 security.protocol 安全协议类型。 生产者使用的安全协议类型,
get("krb5"); // krb5.conf路径 final String principal = paraTool.get("principal"); // 认证用户 System.setProperty("java.security
告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/f
WebUI界面 单击“导入”,进入作业导出界面。 在“导入”界面中选择要导入的配置文件的路径。 单击“上传”,开始导入作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题: 作业管理
1所示,在HistoryServer页面添加“AggregatedLogs”页签,可以通过“logs”链接查看聚合的日志。 图1 聚合日志显示页面 父主题: Spark Core
查看topic数据过期时间。 bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群业务IP>:2181/kafka --topic kktest 设置topic数据过期时间,其中--topic表示具体topic名称,retention
2], [3]] zip(array1, array2[, ...]) -> array(row) 描述:将给定数组按元素合并到单个行数组中。第N个自变量的第M个元素将是第M个输出元素的第N个字段。如果参数长度不均匀,则缺少的值将填充为NULL。 SELECT zip(ARRAY[1
setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(PRNCIPAL_NAME, PATH_TO_KEYTAB
setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(PRNCIPAL_NAME, PATH_TO_KEYTAB
的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对),所创建的MRS集群资源完全归客户所用。同时MRS支持在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。 MRS集群类型包括分析集群、流式集群和混合集群。