检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。 例如： cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.10/client/
hudi_catalog; 执行以下命令查看创建的Hudi表： refresh catalog hudi_catalog; use 数据库名称; show tables; 执行以下命令使用TimeTravel Query查看某个时间之前插入的表数据： select * from hudi_cow
4及以上版本开发。本章节以MRS 3.3.0版本为例。 开发Hive UDF项目 本样例实现一个Hive UDF，说明见下表。 表1 Hive UDF说明 名称 说明 AutoAddOne 对输入的数字加1后返回 一个普通Hive UDF必须继承自“org.apache.hadoop.hive.ql
worker.gc.childopts > worker.gc.childopts > topology.worker.childopts。 如果设置了客户端参数topology.worker.childopts，则该参数会与服务端参数worker.gc.childopts共同配置，但是
hadoop.com", MRS 2.1.x及之前版本： sasl.kerberos.keytab：可通过在MRS Manager界面选择“系统设置 > 用户管理”，在对应用户所在行的“操作”列选择“更多 >下载认证凭据”，保存后解压得到用户的user.keytab文件。 sasl.kerberos
FS数据的高可靠； 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 1.9.2.3补丁安装完成之后，需要重启OMS服务。如果集群之前安装了1.9.2.2补丁，不需要做此操作。
该功能暂时仅在北京四region开放，如需体验，请联系运维人员。 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“作业管理”。 在需要克隆作业的对应的“操作”列中，单击“克隆”，弹出“克隆作业”对话框。 配置克隆参数。 若无参数修改，无需执行本步骤。
createDefault()) { HttpPost httpPost = new HttpPost(PUT_URL);//请求需要设置超时时间 addTimeout(httpPost); String weatherData = genWeatherData();
// 初始化用户自定义状态 public UDFState() { count = 0L; } // 设置用户自定义状态 public void setState(long count) { this.count = count;
语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql
其他： --创建视图 create view orders_by_date as select * from orders; --设置表的注释信息，可以通过设置注释信息为NULL来删除注释 COMMENT ON TABLE people IS 'master table'; --创建一个具有列名id、name的新表：
0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 kinit sparkuser 上传CSV中的文件到HDFS的“/data”目录： hdfs dfs -put
通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下，JobHistory仅支持https协议，故在如下命令的url中请使用https协议。 安全模式下，需要设置spark.ui.customErrorPage=false并重启spark2x服务 （JobHistory2x、JDBCServer2x
manager_password：集群用户对应的密码（密码明文存储存在安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全）。 topic：生产消费的topic名称，默认值“example-metric1”。 isAsync：是否使用异步生产，默认值“false”。 consumer.alive.ti
tor --support-timestamp 表1 参数说明 命令 描述 必填 默认值 --database Hive database名称 N default --table Hive表名 Y - --base-file-format 文件格式 (PARQUET或HFILE)
node_ip node_ip：集群内其他节点IP，不支持多个IP。 登录FusionInsight Manager，在“主页”中单击待操作集群名称后的“ > 启动”（MRS 3.3.0及之后版本，选择“主页”右上角的“更多> 启动”），启动集群。 父主题： MRS集群安全加固
tor --support-timestamp 表1 参数说明 命令 描述 必填 默认值 --database Hive database名称 N default --table Hive表名 Y - --base-file-format 文件格式 (PARQUET或HFILE)
gaussdb-mysql：云数据库GaussDB(for MySQL) 默认取值： 不涉及 connector_name 否 String 参数解释： 数据连接名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 limit 否 Integer 参数解释： 每页返回的资源个数。 约束限制：
mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了设置参数和提交job的操作，其中<inputPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。
"/opt/client/krb5.conf" 在Windows环境的开发环境IntelliJ IDEA中，在“Maven Projects > 样例工程名称 > Lifecycle”中，执行“clean”和“package”操作，编译完成后，在target目录下即可生成“hetu-examples-XXX
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
