检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Bucket索引表调优 Bucket索引常用设置参数： Spark： hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num
操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了HDFS路径hdfs_path，需要是路径hdfs_path的所有者和具有RWX权限。 DROP DATABASE dbname 拥有数据库dbname的所有权。
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
Server）: 票据授权服务器，用于通过TGT生成访问服务的服务票据ST。 图2 认证流程图 LDAP数据读写 LDAP作为用户数据存储中心，存储了集群内用户的信息，包含密码，附属信息等。用户操作用户数据或进行Kerberos认证需要访问LDAP。 图3 数据修改过程 LDAP数据同步
"external_datasources" : [ { "name" : "hive_metastore", "types" : [ "RDS_MYSQL", "DLCATALOG" ] } ], "resource_requirement" : null, "valid_roles"
ger故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native
ger故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native
多个磁盘之间使用逗号隔开。 参数 描述 默认值 yarn.nodemanager.log-dirs 日志存放地址（可配置多个目录）。 容器日志的存储位置。默认值为%{@auto.detect.datapart.nm.logs}。如果有数据分区，基于该数据分区生成一个类似/srv/Big
单击“新建文件夹”，分别创建program文件夹，创建完成后如图1所示。 图1 文件夹列表 进入program文件夹，单击上传文件，从本地选择1中下载的程序包，“存储类别”选择“标准存储”。 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。 提交sparkPi作业。 在MRS控制台选择“作业管理”，
er.properties中的配置项log.dirs获得数据存储目录。 其中配置文件路径请根据时间环境的集群版本修改，当磁盘有多块时，该配置项有多个，逗号间隔。 使用cd命令进入使用率较高的磁盘对应的3中获取的数据存储目录下。 使用du -sh *命令打印出当前topic的名称及大小。
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
Admin Privilege） DROP FUNCTION Hive管理员权限（Hive Admin Privilege） ALTER DATABASE Hive管理员权限（Hive Admin Privilege） 父主题： Hive用户权限管理
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
r.properties 调小“log4j.appender.sparklog.MaxFileSize”参数值（表示生成一份日志文件的最大存储大小，默认为50MB），例如修改为“20MB”。 调小“log4j.appender.sparklog.MaxBackupIndex”参数
assigned_roles 是 Array of strings 参数解释： 角色部署信息。可以指定节点组中部署的角色，该参数是一个字符串数组，每个字符串表示一个角色表达式。 角色表达式定义： 当该角色在节点组所有节点部署时： {role name}，如“DataNode”。 当
loadBalancerHttpsPort=21426 CLICKHOUSE_SECURITY_ENABLED=true user= #密码明文存储存在安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全 password= clusterName=default_cluster
loadBalancerHttpsPort=21426 CLICKHOUSE_SECURITY_ENABLED=true user= #密码明文存储存在安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全 password= clusterName=default_cluster
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
