检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ubmit、Spark Script和Spark SQL作业。 SparkSubmit:提交Spark Jar和Spark Python程序,运行Spark Application计算和处理用户数据。 SparkScript:提交SparkScript脚本,批量执行Spark SQL语句。
hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问普通模式集群HBase。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\sys
kadmin/admin的默认密码为“KAdmin@123”,首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令,重置组件运行用户密码。此操作对所有服务器生效。 cpw 组件运行用户名 例如:cpw oms/manager 集群中,默认的密码复杂度要求: 密码字符长度为8~32位。 至少需要
people; --在表people中增加名为zip的列: ALTER TABLE people ADD COLUMN zip varchar; --从表people中删除名为zip的列: ALTER TABLE people DROP COLUMN zip; --将表people中列名id更改为user_id:
进入Impala服务页面:登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Impala”。 单击“查询管理”,列表默认显示所有正在进行的查询。 单击“已经结束的查询”可以查看已经完成查询的相关信息。 用户可以根据实际情况按照慢查询运行时长、查询id、用户、所属数据库进行查询。
管理节点。 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。另外,主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 父主题: 集群管理
查看topic数据过期时间。 bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群业务IP>:2181/kafka --topic kktest 设置topic数据过期时间,其中--topic表示具体topic名称,retention
在输出算子的字段表格里面已存在名称的字段信息,不会在“关联”窗口显示。 用户也可在“字段名”的列表中选择需要字段,相应配置信息会在输出字段的参数表格显示。 单击“确定”,选中字段信息将会在输出字段的参数表格显示。 编辑操作 登录“Loader WebUI”界面。 登录FusionInsight
get("krb5"); // krb5.conf路径 final String principal = paraTool.get("principal"); // 认证用户 System.setProperty("java.security
无锁模式,要求启动CDL任务期间不能有schema的变更。 可选参数,单击显示该参数。 none WhiteList 待抓取表的白名单。 配置需要抓取的表的名单列表,多个表可以用英文逗号分隔,支持通配符。 可选参数,单击显示该参数。 testtable BlackList 表的黑名单。 配
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代
setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(PRNCIPAL_NAME, PATH_TO_KEYTAB
setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(PRNCIPAL_NAME, PATH_TO_KEYTAB
/__spark_conf__/__hadoop_conf__/jaas-zk.conf -Dzookeeper.server.principal=${ZOOKEEPER_SERVER_PRINCIPAL} -Djava.security.krb5.conf=./__spark_conf__/__hadoop_conf__/kdc
/__spark_conf__/__hadoop_conf__/jaas-zk.conf -Dzookeeper.server.principal=${ZOOKEEPER_SERVER_PRINCIPAL} -Djava.security.krb5.conf=./__spark_conf__/__hadoop_conf__/kdc
怎么通过客户端设置Map/Reduce内存? 如何在导入Hive表时指定输出的文件压缩格式? Hive表desc描述过长导致无法完整显示 Hive表中增加分区列后再插入数据显示为NULL 集群中创建的新用户执行查询Hive操作时无权限 执行SQL提交任务到指定队列时报错 执行load data
准备本地应用开发环境 在进行应用开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 Eclipse 开发环境的基本配置。版本要求:4.2或以上。 JDK JDK使用1.7或者1.8版本。 说明: 基于安全考虑,MRS集群服务端只支持TLS 1.1和TLS 1.2加密协议,IBM