检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备Spark连接集群配置文件。
以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备Spark连接集群配置文件。
backtype.storm.StormSubmitter.submitTopologyAs(StormSubmitter.java:213) 查看系统/tmp目录,发现存在user.keytab文件,且文件宿主非运行用户。 解决办法 提交拓扑时携带用户user.keytab文件。 提交拓扑时的用户需要和user
count(empno) from carbon_table_MulTI_THread").show() } } 重置(Reset): RESET 系统响应 如果运行成功,将记录在driver日志中。 如果出现故障,将显示在用户界面(UI)中。 父主题: CarbonData语法参考
name}/hbase-staging”(例如“/user/omm/hbase-staging”),此处“$ {user.name}”是操作系统用户名(即omm用户),客户端(kerberos用户,例如admin用户)不具备该目录的rwx权限。 上述问题可通过执行以下步骤解决: 在客户端将“hbase
jar包获取的jar包放在FineBI目录“%FineBI%\webapps\webroot\WEB-INF\lib”,重启FineBI。 打开FineBI,选择“管理系统 > 数据连接 > 数据连接管理 > 新建数据连接 > 所有”,选择“Presto”并打开。参考图2新建连接。 图2 新建连接 参考下表配
取消正在运行的planfile,同样需要使用绝对路径。 在客户端执行此命令时,用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户,再在客户端中执行此命令。 表3只说明了命令接口的含义及使用方法,实际
name}/hbase-staging”(例如“/user/omm/hbase-staging”),此处“$ {user.name}”是操作系统用户名(即omm用户),客户端(kerberos用户,例如admin用户)不具备该目录的rwx权限。 上述问题可通过执行以下步骤解决: 在客户端将“hbase
主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
--jobManagerMemory <arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel
--jobManagerMemory <arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel
取消正在运行的planfile,同样需要使用绝对路径。 在客户端执行此命令时,用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户,再在客户端中执行此命令。 表3只说明了命令接口的含义及使用方法,实际
x及之后版本需配置该参数) 已使用的存储空间的数据采集周期为1个小时,因此超过存储空间阈值的告警上报会存在延迟。 单击“确定”完成租户目录添加,系统将在HDFS根目录下创建租户的目录。 修改租户目录: 在“HDFS存储”表格,指定租户目录的“操作”列,单击“修改”。 根据实际需求修改相关参数。
arbonData后,就可以执行即席查询,CarbonData将对数据查询提供秒级响应。 CarbonData将数据源集成到Spark生态系统,用户可使用Spark SQL执行数据查询和分析,也可以使用Spark提供的第三方工具ThriftServer连接到Spark SQL。 CarbonData结构
ger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 创建HBase角色 在Manager界面,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 HBase权限:
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 添加组件自定义参数对系统的影响 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间无法访问服务。 配置HBase、HDFS、Hive、Spar
ger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 创建HBase角色 在Manager界面,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 HBase权限包括:
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
when matched and flag = true then delete when not matched then insert *; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明