买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国四维测绘技术有限公司
摘要:本申请公开了一种基于Spark的遥感卫星数据处理方法、装置和电子设备,该方法基于Spark中的数据读取配置文件,在读取遥感卫星采集的原始数据的过程中,对原始数据进行分块处理,将数据量较大的原始文件分割为数据量较小的文件块进行处理;其次以并行处理的方式对各分块数据进行AOS帧同步处理;然后对分块数据中的有效帧数据进行分区,以并行处理的方式对各分区中的有效帧数据进行排序以及从排序后的有效帧数据中提取每帧数据的BPDU位流数据,获得每个分区对应的有效载荷数据,能够提高卫星遥感数据的预处理效率。
主权项:1.一种基于Spark数据分析工具的遥感卫星数据处理方法,其特征在于,所述方法包括:基于Spark中的数据读取配置文件,在读取遥感卫星采集的原始数据的过程中,对所述原始数据进行分块处理,获得分块后的第一通道数据和分块后的第二通道数据;所述原始数据包括所述第一通道数据和所述第二通道数据;将分块后的第一通道数据和分块后的第二通道数据进行通道合并处理,获得合并后的分块数据;所述分块数据包括多个AOS帧,所述AOS帧包括虚拟信道标识符;对各分块数据进行AOS帧同步处理,获得处理后的分块数据;基于所述虚拟信道标识符,从所述处理后的分块数据中获取有效帧数据;基于所述虚拟信道标识符,对所述有效帧数据进行分区,获得不同分区下的有效帧数据;针对每个分区中的有效帧数据,对所述有效帧数据进行AOS帧排序处理,获得不同分区下排序后的有效帧数据;针对每个分区,从排序后的有效帧数据中提取每帧数据的BPDU位流数据,获得每个分区对应的有效载荷数据。
全文数据:
权利要求:
百度查询: 中国四维测绘技术有限公司 一种基于Spark的遥感卫星数据处理方法、装置和电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。