检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行CDL的任何操作。 关联了“cdl”用户组的用户可以执行CDL的创建和查询操作。 启用了Ranger鉴权时,如果用户创建后需要继续为用户配置创建、执行、查询、删除权限,请参考添加CDL的Ranger访问权限策略。 对于手动停用了Ranger鉴权的集群,可参考MRS集群服务启用R
WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
= new Properties(); //"hiveclient.properties"为客户端配置文件 //"hiveclient.properties"文件可从对应实例客户端安装包解压目录下的config目录下获取,并上传到JDBC样例工程的“hive-jdbc-exampl
= new Properties(); //"hiveclient.properties"为客户端配置文件 //"hiveclient.properties"文件可从对应实例客户端安装包解压目录下的config目录下获取,并上传到JDBC样例工程的“hive-jdbc-exampl
DWS 不支持 支持 8.1.1及之后版本 使用约束: 如果需要使用CDL, Kafka服务的配置参数“log.cleanup.policy”参数值必须为“delete”。 MRS集群中已安装CDL服务。 CDL仅支持抓取非系统表下的增量数据,MySQL、PostgreSQL等数据库的内置数据库不支持抓取增量数据。
数据库名称。数据库名称由字母,数字和下划线组成。 table_name 数据库中的表的名称。表名由字母,数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a int
gender: String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val sparkConf = new SparkConf().setAppName("FemaleInfo")
gender: String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
登录Master2节点,使用以下命令查找“mapred-default.xml”所在路径: find /opt/ -name 'mapred-default.xml' 查询到该配置文件在“/opt/Bigdata/*/*_WebHCat/etc/”目录下面,且该文件内容为空。 登录到Master1节点,将“/opt/
/xxxxx/clickhouse_ugsync_check.sh >/dev/null 2>&1 是,守护任务配置正常,等待5min,查看告警是否清除。若告警清除,操作结束,若告警未清除,执行8。 否,守护任务配置不正常或不存在,执行5。 登录FusionInsight Manager页面,选择“集群
egion Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示
gender: String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
gender: String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html 准备运行环境 安装客户端。在节点上安装客户端,如安装到“/opt/client”目录,可参考“安装客户端”。 在客户端目录准备文件“testFile”和“testFileAppend”,文件内容分别“Hello
outputformat 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'; 查询之前指定配置项: set hive.textinput.record.delimiter='!@!'; Hive会以‘!@!’为行分隔符查询数据。 父主题:
址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务
chmod +x python-examples -R 在python-examples/pyCLI_nosec.py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 执行以下命令运行Python客户端: cd python-examples python pyCLI_nosec
否,执行11。 参考以下操作,进行磁盘扩容(仅针对MRS 3.1.2及之前版本)或调小最大审计日志备份数量配置项。 对OMS节点进行磁盘扩容。 执行以下命令,然后调小最大审计日志备份数量配置项“MAX_NUM_BK_AUDITLOG”的值。 vi ${CONTROLLER_HOME}/e
进入Loader页面。 单击“管理连接”。 显示Loader连接管理页面。 可单击“管理作业”回到作业管理页面。 单击“新建连接”,进入配置页面,并填写参数创建一个Loader连接。 Loader作业介绍 Loader作业用于管理数据迁移任务,每个作业包含一个源数据的连接,和一
准备Manager应用开发和运行环境 准备样例工程 Manager REST API提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 配置并导入Manager样例工程 根据场景开发工程 提供了Java语言的样例工程,包含添加用户、查找用户、修改用户、删除用户,导出用户列表等典型应用场景。