检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
CarbonData数据分析 新建CarbonData Table 删除CarbonData Table 修改CarbonData Table 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题: 使用CarbonData(MRS
坏,则DataNode将不再提供服务。用户可以通过修改配置项“dfs.datanode.failed.volumes.tolerated”的值,指定失败的个数,小于该个数,DataNode可以继续提供服务。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
使用Hue提交Oozie HDFS作业 操作场景 该任务指导用户通过Hue界面提交HDFS类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Fs”按钮,将其拖到操作区中。 在弹出的“Fs”窗口中单击“添加”。 单击“CREATE
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面: MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),选择“集群 > 服务”。 选择“Loader”,在“Loader
例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数描述 参数 描述 默认值 yarn.acl.enable
删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中,或者数据加载后出现许多错误记录,用户希望修改并重新加载数据时,可删除对应的segment。可使用segment ID来删除segment,也可以使用加载数据的时间来删除segment。 删除seg
C时间明显比其他executors高,或者所有的executors都表现出高GC时间。 处理步骤 登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”,在搜索框搜索“spark.executor.memory”,通过参数“spark.executor
JobHistory Server和JDBCServer的JVM参数如表3所示。在服务端配置文件“ENV_VARS”中进行配置。JobHistory Server和JDBCServer的日志级别在服务端配置文件“log4j.properties”中设置。 表3 进程的JVM参数2 参数
使用Hue提交Oozie Java作业 操作场景 该任务指导用户通过Hue界面提交Java类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Java 程序”按钮,将其拖到操作区中。 在弹出的“Java program”窗口中配置“Jar
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Str
TezUI界面无法查看Yarn日志 问题 登录Tez WebUI界面,单击Logs跳转yarn日志界面失败,无法加载数据。 回答 Tez WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在windows机器,配置hostname到ip的映射。具体方法为:
WITH WITH子句定义查询子句的命名关系,可以展平嵌套查询或简化子查询语句。 例如下面的查询语句是等价的: SELECT name, maxprice FROM (SELECT name, MAX(price) AS maxprice FROM fruit GROUP BY name)
PREPARE 语法 PREPARE statement_name FROM statement 描述 预处理一条语句,以便以后执行。预处理语句是将查询保存在给定名称的会话中。语句可以包含参数,以代替执行时要替换的文本,参数用问号表示。 示例 预处理查询 PREPARE my_select1
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面: 登录FusionInsight Manager,具体请参见访问集群Manager,选择“集群 > 服务”。 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。
在资源不足导致ApplicationMaster启动失败的情况下,调整如下参数值,提高容错性,保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述 默认值 yarn.resourcemanager
长周期的YARN服务而言,用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationAttempt启动时,保留之前Container的状态,因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Ya
admin.modifyColumnFamily(TableName.valueOf("t1"), hcd.build());// 提交到服务端修改列簇f1的属性 修改后完成后,已有的HFile的编码和压缩方式需要在下次做完compaction后才会生效。 父主题: HBase数据操作