检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令导入临时文件,并查看“port_result.txt”文件中高使用率端口。
执行以下命令,进入“backup.properties”文件所在目录。例如,Loader客户端安装目录为 “/opt/client/Loader/”。
如,文件名为txt.log,以空格拆分字段,以换行符作为行分隔符。 上传文件至hdfs。 hdfs dfs -put txt.log /tmp 加载数据到表中。
选择“实例配置”,单击“导出”,导出配置参数文件到本地。 在实例配置页面单击“导入”,在弹出的配置文件选择框中定位到实例的配置参数文件,即可导入所有配置。 MRS 2.x及之前版本集群: 登录MRS Manager页面。 单击“服务管理”。 选中某项服务。
JAVA函数:需要提供函数实现的JAR文件,并将JAR文件放入HetuEngine可以读取的HDFS中。 Deterministic characteristic NOT DETERMINISTIC 函数是否确定性。
删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.restrict.create.grant.external.table”,“值”为“true”。
source bigdata_env 生成证书文件 keytool -export -alias fusioninsightsubroot -storepass changeit -keystore /opt/client/JRE/jre/lib/security/cacerts
如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境配置文件中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java.opts
2张外部表,表名_ro(用户只读合并后的parquet文件,即读优化视图表),_rt(读实时写入的最新版本数据,即实时视图表)。 父主题: Bucket调优示例
“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端的配置文件 登录MRS Manager的主管理节点。
在客户端“spark-defaults.conf”配置文件中,修改或增加配置选项“spark.driver.userClassPathFirst” = “true”。 父主题: Spark应用开发常见问题
执行以下命令修改alarm_filter_config.json配置文件,若此文件不存在,则新建此文件。
HttpFS:如果HttpFS实例故障,客户端将无法通过HTTP方式访问HDFS中的文件。但是客户端可以使用其他途径(如shell命令)来访问HDFS上的文件。
在“pom.xml”所在目录将生成lib文件夹,其中包含样例项目所依赖的jar包。 执行Jar包。
若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“
若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“
安全集群的IoTDB默认开启了SSL,开启了SSL后需上传“truststore.jks”文件,可参考IoTDB客户端使用实践获取该文件。
在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-XX:NewRatio”。如“ -XX:NewRatio=2”,则表示老年代与新生代的比值为2:1,新生代占整个堆空间的1/3,老年代占2/3。
删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题