检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} 避免对同一张表同时进行读写操作 目前的版本中,Hive不支持并发操作,需要避免对同一张表同时进行读写操作,否则会出现查询结果不准确,甚至任务失败的情况。 父主题: Impala开发规范
enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”)。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例):
)下。 版本号中包含hw-ei的依赖包请从华为开源镜像站下载 版本号中不包含hw-ei的依赖包都来自开源仓库,请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic> <batchTime>,其中<checkPo
限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 用户确认丢失块所在的文件是否有用。 MapReduce任务运行过程中在“/mr-history”、“/tmp/hadoop-yarn”、“/tmp/logs”这三个目录中生成的文件不属于有用文件。
bin/yarn-session.sh -n 3 -jm 1024 -tm 1024 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 运行DataStream样例程序(Scala和Java语言)。
de"); // 请仔细阅读此内容: // MapReduce任务通过JDBC方式访问Hive // Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive
de"); // 请仔细阅读此内容: // MapReduce任务通过JDBC方式访问Hive // Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive
/IUD都会产生一个tablestatus文件。 说明: 如果同时使用JDBCServer和客户端对表进行数据加载,那在使用该特性时,需要保证同时开启或同时关闭。 carbon.tablestatus.multi.version.file.coun 3 仅在开启tablestat
/coprocessor/kylin-coprocessor-1.6.0-SNAPSHOT-0.jar HBase在配置协处理器时,一定要保证对应的jar包路径没有问题,否则HBase会无法启动。 解决办法 使用Kylin对接MRS,确保Kylin相关jar包存在。 父主题: 使用HBase
个主JobManager(Leader JobManager)和多个备JobManager(Standby JobManager),这能够保证当主JobManager失败后,备的某个JobManager可以承担主的职责。图1为主备JobManager的恢复过程。 图1 恢复过程 TaskManager恢复
x及之后版本需配置该参数) 当前已使用的文件数的数据采集周期为1个小时,因此超过文件数阈值的告警上报会存在延迟。 存储空间配额 :填写租户目录的存储空间大小。 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间所有副本文件在HDFS中占用磁盘空间大小总
配,则考虑在空闲的磁盘上规划Kafka分区,并将log.dirs设置为空闲磁盘目录,然后参考3,对Topic的Partition重新规划,保证该Topic的Partition均匀分布到各个磁盘。 观察一段时间,检查告警是否清除。 告警清除,操作结束。 告警没有清除,重复执行5~6三次。重复执行次数达到上限,执行8。
1 --partitions 2 --topic test --zookeeper 192.168.234.231:2181 解决办法 保证Kafka服务处于正常状态。 创建命令中ZooKeeper地址信息需要添加/kafka。 [root@10-10-144-2 client]#
视图。 单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。 各组件的策略列表中,系统默认生成的条目会自动继承至安全区内,用于保证集群内的部分系统默认用户或用户组的权限。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。 例
云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责
ME}/bin/sample.sh验证kylin是否正常运行。 在华为云严选商城中有提供基于Apache Kylin的企业级大数据智能分析平台Kyligence Enterprise,您可以根据需要选择使用。 父主题: 周边生态对接类
视图。 单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。 各组件的策略列表中,系统默认生成的条目会自动继承至安全区内,用于保证集群内的部分系统默认用户或用户组的权限。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。 例
境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例):
SparkOnStreamingToHbase。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: /** * 运行streaming任务,根据value值从hbase table1表读取数据,把两者数据做操作后,更新到hbase table1表 */ public class
安全模式执行以下命令,普通模式无需执行: kinit test,输入密码完成认证(首次登录需要修改密码) 使用Spark的beeline命令提交任务,创建Spark表: spark-beeline create table sparktest(a int, b string); insert