检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> Next”,在下一个页面单击“Browse”,显示“浏览文件夹”对话框。 选择样例工程文件夹“hdfs-examples”,单击“确定”。 在“Import”窗口单击“Finish”。 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window
导入并配置Kafka样例工程 获取样例工程文件夹。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码,将准备连接Kafka集群配置文件时获取的所有配置文件放置在样例工程的
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性,对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时,会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS 3
组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如,执行以下命令访问“mrs-word001”并行文件系统,返回文件列表即表示访问OBS成功,如图1所示: hadoop
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持切换操作系统。 父主题: 节点管理类
limit:xxx 原因分析 BE处理的单个导入任务的最大数据量为3GB,超过该值的待导入文件需要通过调整Broker Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下: 登录FusionInsight
COMPLETED 文件传输完成后添加的后缀。 deletePolicy never 文件传输完成后源文件删除策略,never或immediate。“never”表示不删除已完成传输的源文件,“immediate”表示传输完成后立刻删除源文件。 ignorePattern ^$ 忽略文件的正则
权限。HetuEngine中还包含拥有者权限“OWNERSHIP”和集群管理员权限“ADMIN”。 数据文件权限,即HDFS文件权限 HetuEngine的数据库、表对应的文件保存在HDFS中。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。系
conf”文件需要在Linux环境上创建文件夹保存这些配置文件,例如“/opt/conf”。并在linux环境上,在客户端路径下(/opt/client/HDFS/hadoop/etc/hadoop/)获得core-site.xml、hdfs-site.xml文件放入上述文件夹里。
parquet.compression.codec”配置项的值。当“spark.sql.parquet.compression.codec”未做设置时默认值为“snappy”,“parquet.compression”会读取该默认值。 因此,“spark.sql.parquet.compression
HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列,勾选“读”和“执行”。 设置用户读取其他用户的目录或文件的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。
No such file or directory 回答 HetuEngine计算实例的启动依赖Python文件,需确保各节点“/usr/bin/”路径下面存在Python文件。 登录FusionInsight Manager,单击“主机”,查看并记录所有主机的业务IP。 以roo
使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例 数据迁移类 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群
选择准备上传配置文件的节点行的“Flume”角色,单击“实例配置”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。 图4 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此
协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、HBase Shell或者Web
选择准备上传配置文件的节点行的“Flume”角色,单击“实例配置”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。 图7 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此
config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。 图7 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。
各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩,所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>.tar.gz的文件名格式,压缩保存在主管理节点“/var/log/Bigdata/audit/bk/”,同时备管理节点会同步保存一个相同的副本。 默认情况下,OMS备份的文件最大保留个数为90
REST服务同样需要进行Kerberos认证。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置安全登录 该场景下不需要进行初始化配置,仅需要用于Kerberos安全认证的keytab文件和krb5.conf文件。 以下代码在hbase-rest-example样例工程的“com
日志归档规则:MemArtsCC的运行日志启动了自动压缩归档功能,当日志大小超过50MB的时候(此日志文件大小可进行配置),会自动压缩,压缩文件保留个数和压缩文件阈值可以配置。 表1 MemArtsCC日志列表 日志类型 日志文件名 描述 运行日志 check-sidecar-instance.log sidecar健康检查的日志