检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
quorum"); // Insert String upsertSQL = "UPSERT INTO TEST VALUES(1,'John','100000', TO_DATE('1980-01-01','yyyy-MM-dd'))";
如创建一个表,插入一条数据再对表进行查询。 spark-sql> CREATE TABLE TEST(NAME STRING, AGE INT); Time taken: 0.348 seconds spark-sql>INSERT INTO TEST VALUES('Jack', 20); Time taken:
解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS,ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS 大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS
书会跳过该节点。后续隔离节点取消隔离后,需要重装主机,以保证隔离节点和集群使用相同的CA证书。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 更换过程中MRS系统需要重启,此时系统无法访问且无法提供服务。 更换证书以后,所有组件和Manager的模块使用的证书将自动更新。
.as[String] .map{ _.split('^') match { case Array(reqAdID, reqTime) => ReqEvent(reqAdID, Timestamp
配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创
或者IntelliJ IDEA工具,请根据指导完成开发环境配置。 准备本地应用开发环境 根据场景开发工程 提供样例工程,帮助用户快速了解Kudu各部件的编程接口。 开发Kudu应用 查看程序运行结果 指导用户将开发好的程序编译提交运行并查看结果。 调测Kudu应用 父主题: Kudu应用开发概述
安全加固后是否启用:是 dfs.namenode.http.port 9870 25002 HDFS HTTP端口(NameNode)。 该端口用于: 点对点的NameNode检查点操作。 远程Web客户端连接NameNode UI。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。
以“/user/hdfs-examples/test.txt”文件的读写删除等操作为例,说明HDFS文件的基本操作流程: 通过集群安全认证。 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutpu
bigdata_env kinit test(test为6创建的用户名,如果该用户首次登录,需修改初始密码) hdfs dfs -mkdir -p /user/example hdfs dfs -mkdir -p /user/example/input 6创建的test用户仅具有“/user”
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 磁盘慢盘故障,导致业务性能下降,阻塞业务的处理能力,严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态。
tablet Operate on remote Kudu tablets test Various test actions tserver Operate on a Kudu Tablet Server
tablet Operate on remote Kudu tablets test Various test actions tserver Operate on a Kudu Tablet Server
设置系统环境变量,在系统变量下单击“新建”,弹出新建系统变量框,变量名中输入“USERDNSDOMAIN”,变量值设为非空字符串,图中以“test”为例。 连续单击“确定”,完成系统环境变量的设置。 关闭样例工程,重新打开,运行。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample
不同数据库有不同的驱动JAR ADD JAR hdfs:///tmp/ojdbc6.jar; CREATE EXTERNAL TABLE ora_test -- hive表的列需比数据库返回结果多一列用于分页查询 (id STRING,rownum string) STORED BY 'com
@password=用户密码 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考修改MRS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数,请单击右侧的“添加”按钮。 例如作业需要通过A
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出
ctas_select_parquet STORED AS carbondata as select * from parquet_ctas_test; 系统响应 该命令会从Parquet表上创建一个Carbon表,同时导入所有Parquet表的数据。 父主题: DDL
FAILED: SemanticException [Error 10011]: Line 1:7 Invalid function 'test_udf' (state=42000,code=10011) 在多个HiveServer之间使用UDF也存在上述问题。例如,在HiveS
如创建一个表,插入一条数据再对表进行查询。 spark-sql> CREATE TABLE TEST(NAME STRING, AGE INT); Time taken: 0.348 seconds spark-sql>INSERT INTO TEST VALUES('Jack', 20); Time taken: