检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
info("Exiting testScanData."); } 注意事项 建议Scan时指定StartRow和StopRow,一个有确切范围的Scan,性能会更好些。 可以设置Batch和Caching关键参数。 Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。
info("Exiting testScanData."); } 注意事项 建议Scan时指定StartRow和StopRow,一个有确切范围的Scan,性能会更好些。 可以设置Batch和Caching关键参数。 Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。
info("Exiting testScanData."); } 注意事项 建议Scan时指定StartRow和StopRow,一个有确切范围的Scan,性能会更好些。 可以设置Batch和Caching关键参数。 Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。
在弹出授权页面的搜索框内,搜索“OBS OperateAccess”策略,并勾选“OBS OperateAccess”策略。 单击“下一步”,在“选择权限范围方案”中选择“全局服务资源”,单击“确定”。 在弹出提示框中单击“知道了”,开始授权。界面提示“授权成功”,单击“完成”,委托创建成功。
option --name verbose --value true。 属性类别 子属性 含义 server -h,--host 服务IP地址 -p,--port 服务端口 -w,--webapp Tomcat应用名 -u,--url Sqoop服务URL option verbose
一个单独的最大尝试次数,但这个次数不能大于全局的最大次数。如果大于了,那ResourceManager将会覆写这个单独的最大尝试次数。取值范围大于等于1。 2 父主题: Yarn企业级能力增强
Loader常用参数 参数入口 参数入口,请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDF
1d 推荐物化视图的周期,建议一天一次 qas.threshold.for.mv.recommend 0.05 物化视图推荐筛选阈值,取值范围为“0.001-1”,建议根据实际业务情况调整 单击“保存”,保存配置。 单击“实例”,勾选所有QAS实例,选择“更多 > 重启实例”,输入密码重启QAS所有实例使参数生效。
hdfs-site.customized.configs”参数,增加如下自定义参数,参数值根据实际需求进行配置。 参数名称 参数说明 取值范围 dfs.client.hedged.read.threshold.millis 客户端在决定是否启动对冲读取之前等待第一个数据块的第一个字节的毫秒数。
RegionServer以Ephemeral node的方式注册到ZooKeeper中。其中ZooKeeper存储HBase的如下信息:HBase元数据、HMaster地址。 HMaster通过ZooKeeper随时感知各个RegionServer的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS
code=40000) ... 更多Hive SQL防御规则可参考MRS SQL防御规则。 用户也可通过日志查询SQL防御详情,Hive SQL防御日志路径地址为“/var/log/Bigdata/audit/hive/hiveserver/queryinfo.log”。 父主题: 管理MRS集群SQL防御规则
图2 sparkPi作业 作业类型选择“SparkSubmit”。 作业名称为“sparkPi”。 执行程序路径配置为OBS上存放程序的地址。例如:obs://sparkpi/program/spark-examples_2.11-2.1.0.jar。 运行程序参数选择“--class”,值填写“org
图5 配置“Dependencies” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
磁盘写入的小文件过多。 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,获取告警所在主机地址和磁盘分区。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -i | grep -iE "
执行以下命令重启Knox。 sh /opt/knox/bin/restart-knox.sh 重启完成后在浏览器地址栏中,输入并访问FusionInsight Manager的网络地址,验证能否正常打开页面。 企业证书有效时间已过期或安全性加强,MRS更换为新的证书后,请同步更换本地证书。
根据表的使用场景一般将表分为事实表和维度表: 事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、一月、一年),这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表
erverHandler发送出去。 另外,NettyServer的端口及子网需要在“flink-conf.yaml”配置文件中配置: 端口范围 nettyconnector.sinkserver.port.range: 28444-28943 子网 nettyconnector.sinkserver
本章节适用于MRS 3.x及后续版本。 参数入口 参数入口,请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在H
配置。 Spark SQL暂不支持查看列默认值信息,可以通过Hive beeline执行show create table命令查看。 支持范围 当前仅支持int、bigint、float、double、decimal、string、date、timestamp、boolean、binary类型,其他类型不支持。
分别(小表数据<24M)时,建议将此参数值改为false,如果此时将此参数设置为true,执行联表查询时无法生成新的mapjoin。 取值范围: true false 默认值为true hive.default.fileformat Hive使用的默认文件格式。 MRS 3.x之前版本:TextFile