正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已安装客户端,具体参见使用MRS客户端。 操作步骤 连接到Spark CarbonData。 根据业务情况,准备好客户端,使用root用户登录安装客户端的节点。 例如在Master2节点更新客户端,则在该节点登录客户端,具体参见使用MRS客户端。 切换用户与配置环境变量。
outputformat 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'; 查询之前指定配置项: set hive.textinput.record.delimiter='!@!'; Hive会以‘!@!’为行分隔符查询数据。 父主题:
从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客户端安装目录,例如“/opt/client”。 cd /opt/client 执行source bigdata_env命令,配置客户端环境变量。 在客户端中执行如下命令,执行登录操作。
前提条件 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 已安装集群客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。更新客户端,具体请参见更新客户端(3.x之前版本)。 使用客户端 如果当前集群已启用Kerberos认证,登录MRS
-Dupdate.hfile.output=/user/output/:表示执行结果输出路径为“/user/output/”。 当HBase已经配置透明加密后,“批量更新”操作注意事项请参考7。 执行以下命令,加载HFiles: hbase org.apache.hadoop.hbase
Manager。 登录MRS管理控制台,进入MRS集群,在“概览”页面,单击“IAM用户同步”右侧的“单击同步”。 IAM同步完成,作业管理添加配置作业提交作业即可正常。 父主题: 集群管理类
这种情况为小概率事件且不影响Spark SQL对外展现的应用完成状态。也可以通过增大Yarn客户端连接次数和连接时长的方式减少此事件发生的概率。配置详情请参见: http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-common/yarn-default
Job,Receiver对于Spark是一个普通的任务,但它的生命周期和Spark Streaming任务相同,并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下,要时刻注意核数与Receiver个数的关系。 父主题: Spark Streaming
-Dupdate.hfile.output=/user/output/:表示执行结果输出路径为“/user/output/”。 当HBase已经配置透明加密后,“批量更新”操作注意事项请参考7。 执行以下命令,加载HFiles: hbase org.apache.hadoop.hbase
ClickHouse应用开发规则 集群安装为安全版,则需要保证客户端与服务端的时间一致 如果集群为安全版,需要进行kerberos认证,则需要服务端与客户端的时间一致,时间一致需要注意时区之间的时差的转换。如果时间不一致,会导致客户端认证失败,后续业务流程无法执行。 ClickH
开发和部署HetuEngine UDF 开发和部署HetuEngine Function Plugin 开发和部署对接HetuEngine的Hive UDF 开发和部署HetuEngine UDF 父主题: 使用HetuEngine
在弹出的窗口单击“确定”完成删除操作。 删除集群用户(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 图1 用户管理 在要删除用户所在的行,选择“更多 > 删除”。 图2 删除用户 单击“确定”完成删除操作。 如
Flume客户端安装时会检查环境变量,如果没有可用的JAVA,会报错并退出安装。 指定的目录下已经安装有Flume客户端。 解决办法 如果报JAVA_HOME is null错误,需要使用命令: export JAVA_HOME=java路径 设置JAVA_HOME,重新运行安装脚本。
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。
cf1中所有列,column family cf0中列为vch的列,column family cf0中列lng中值为1000的列。 当HBase已经配置透明加密后,“批量删除”操作注意事项请参考7。 执行以下命令,加载HFiles。 hbase org.apache.hadoop.hbase
cf1中所有列,column family cf0中列为vch的列,column family cf0中列lng中值为1000的列。 当HBase已经配置透明加密后,“批量删除”操作注意事项请参考7。 执行以下命令,加载HFiles。 hbase org.apache.hadoop.hbase
这种情况为小概率事件且不影响Spark SQL对外展现的应用完成状态。也可以通过增大Yarn客户端连接次数和连接时长的方式减少此事件发生的概率。 配置详情请参见: MRS 3.2.0之前版本:http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn
DataStream[String] 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T:
e/data/default/TestTable”,其中$rootDir是HBase的根目录,该值通过在“hbase-site.xml”中配置hbase.rootdir.perms得到,data目录是HBase的固定目录,$nameSpace是nameSpace名字,$tableName是表名。
DataStream[String] 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T: