检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“系统 > 权限 > 用户 > 添加用户”,创建一个人机用户,例如developuser。 “用户组”需加入“developgroup”和“supergroup”组,设置其“主组”为“supergroup”。 “角色”加入developrole。 使用新建的developuser用户登录FusionInsight
群无需执行用户认证。 kinit 组件业务用户 执行如下命令查询HDFS命令的帮助。 ./hdfs --help 常用客户端命令请参考表1和表2。 更多HDFS命令行参考请参见官网:http://hadoop.apache.org/docs/r3.1.1/hadoop-proje
map(w => (w,1)).reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录票据和授权tokens,避免认证过期。示例如下: spark-shell --principal spark2x/hadoop
map(w => (w,1)).reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录票据和授权tokens,避免认证过期。示例如下: spark-shell --principal spark2x/hadoop
Storm-HBase开发指引 操作场景 本章节只适用于Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开
HTableDescriptor[] listTables(String regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。 HTableDescriptor[] listTables(final Pattern pattern
HTableDescriptor[] listTables(String regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。 HTableDescriptor[] listTables(final Pattern pattern
HTableDescriptor[] listTables(String regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。 HTableDescriptor[] listTables(final Pattern pattern
HTableDescriptor[] listTables(String regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。 HTableDescriptor[] listTables(final Pattern pattern
的MOR和COW两种模型中,MOR表的流式读写性能相对较好,因此在流式计算场景下采用MOR表模型。关于MOR表在读写性能的对比关系如下: 对比维度 MOR表 COW表 流式写 高 低 流式读 高 低 批量写 高 低 批量读 低 高 实时入湖,表模型采用MOR表。 实时入湖一般的性
径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 例如,为用户组“obs_cdl”添加“obs://OBS并行文件系统名称/cdldata”的“Read”和“Write”权限: 图6 为CDL用户组赋予OBS路径的读和写权限 父主题: MRS集群服务对接OBS示例
准备ClickHouse应用开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备MRS应用开发用户章节中创建的开发用户执行以下命令运行客户端程序:
值,系统将会对该值四舍五入进行比较,因此在这种情况下,即使小数部分不同,系统仍然会认为double数据类型的值是相同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时,可以使用Decimal数据类型的数值,例如,在财务应用程序中,equality和inequality检查,
当Alluxio集群启动时,每一个Alluxio服务端进程(包括master和worke)在目录“${CLASSPATH}”,“${HOME}/.alluxio/”,“/etc/alluxio/”,和“${ALLUXIO_HOME}/conf”下顺序读取alluxio-site
值,系统将会对该值四舍五入进行比较,因此在这种情况下,即使小数部分不同,系统仍然会认为double数据类型的值是相同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时,可以使用Decimal数据类型的数值,例如,在财务应用程序中,equality和inequality检查,
业务会受到影响。 HBase、Hive、Spark和Loader组件可显示“亚健康”(Subhealthy)状态。 Yarn已安装且不正常时,HBase处于“亚健康”状态。 HBase已安装且状态不正常时,Hive、Spark和Loader处于“亚健康”状态。 配置状态 已同步 系统中最新的配置信息已生效。
Permissions:Create和select 图3 新增hivedev的访问控制策略 单击“Add”,完成策略添加,依据如上Policy示例,testuser用户组中的testuser用户将对Hive的“test”数据库中的表“table1”的“name”列有Create和select的权限,而对于其他列则没有任何的访问权限。
原因是Flink冷启动的时候会遍历所有的数据文件生成状态索引。 实时入湖场景中,Spark引擎采用Bucket索引,Flink引擎可以用Bucket索引或者状态索引。 实时入湖都是需要分钟内或者分钟级的高性能入湖,索引的选择会影响到写Hudi表的性能。在性能方面各个索引的区别如下:
6_RegionServer/ 查询出/opt/Bigdata/MRS_Current/1_16_RegionServer/install/hbase/lib目录下面有两个Phoenix包(phoenix-4.14.1-server.jar和phoenix-core-4.14.1