全部 android asp.net C/C++ cshap IOS Java javascript nodejs perl php python ruby web容器 其他 前端 数据库 第三方平台 混合式APP 网络 系统 默认分类

WebGIS项目中利用mysql控制点库进行千万条数据坐标转换时的分表分区优化方案

0 71

文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/

1. 背景

项目中有1000万条历史案卷,为某地方坐标系数据,现在需要将其转换成百度坐标系数据。常规方案是先建立好整个该市的本地坐标和百度坐标之间的控制点库后再进行转换。但是在具体实施中发现转换特别慢,由于控制点库也有200多万条记录,大概一个点需要一秒钟才能转换完。

2.将update变成inset关键字段值的优化——优化1

最开始采用的是坐标转换完后,直接update历史案卷表。由于update的效率是相对低的,尤其是有一千万条记录时,即使对主键也做了索引,依然效率不高。这里便采用新建一张空表再insert的方案。同时考虑到不必要的字段太多,数据量太大,所以只将历史案卷的主键和坐标insert到新表中的方案进行优化。大概一个坐标转完可以是0.9秒左右,有一定提高,但不是特别明显。

3进行分表的优化——优化2

原始算法的转换步骤是:先从历史案卷表中获取一条记录,再根据记录坐标去控制点库获取该坐标对应的四角坐标的坐标值,然后再根据算法转换。

最明显的瓶颈将出现在:

a.从历史案卷中获取坐标的时间。

b.从控制点库中获取到两条记录(左上角控制点对,右下角控制点对)的时间。

可以想象,每次遍历完整控制点库是最消耗效率的地方。所以这里将采用对控制点库进行分库的优化方法。具体思路为,将控制点库按照每隔2万米,分割成一个独立的表。当坐标进行转换时,首先算出坐标落在哪个控制点表中,然后查询该表进行转换。

 

现在测试将控制点库分成了16个表,效率提高到一秒钟可以转换5个点,大概也就是0.2秒转换一个。可以预见如果分更多表效率将更大的提高。不过考虑到避免数据太过碎片化不利于管理。这里将再进行分区的优化尝试。

4.进行分区的优化——优化3

Mysql中提供了Range、List、Hash、Key四种分区方法,这里由于是地理坐标范围,所以采用Range来进行分区。目前将进行每5000M的范围做一个分区。

 

改完后效率变成了一秒可以转换20个左右坐标。

5.再次优化插入数据——优化4

由于待转换数据太多,导致插入数据在进入几十万条后明显变慢。并且之前是转换完一条就立马插入,这也导致数据库操作频繁,效率下降。

所以这里改成:

a.批量插入,即以事物形式一次插入千条数据。

b.分表插入,当插入满50万条后,则创建新的表,继续插入。

这次修改后,效率又提高不少,大概到每秒转换30多个点。

6.代码级别优化,开启多线程——优化5

启用多线程进行转换,目前开启四个线程。转换效率可以达到每秒100个左右。

 

                       -----欢迎转载,但保留版权,请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/

                                                                如果您觉得本文确实帮助了您,可以微信扫一扫,进行小额的打赏和鼓励,谢谢 ^_^

                                           

热忱回答0

要回复文章请先登录注册

  • 加入年费大会员(20每年)
  • 热门标签

    猜你喜欢

    1. JPA在MySQL中自动建表
    2. Oracle基础学习(二)v$session中Command的数字含义
    3. Kettle的应用——对mysql数据进行表输入与导出
    4. 工具分享binlog2sql:从MySQL binlog得到你要的SQL
    5. 数据库---实验三 嵌套查询和视图操作
    6. MySql事务概述
    7. [转]史上最全的MSSQL复习笔记
    8. ElasticSearch+logstash的logstash-input-jdbc实现mysql数据同步
    9. 数据库扩展性设计:使用二进制解决一条记录关联多个状态的问题
    10. 使用Entity Framework Core Code First创建SQLite数据库

    最近热帖

    1. 注册邮箱写错了,登录进去怎么修改邮箱?
    2. curl 怎么获取地址中两个JSOM数据
    3. (汉化改进作品)BruteXSS:Xss漏洞扫描脚本 0
    4. sass纯新手(一) 1
    5. Javascript中的async await 1
    6. 《游戏编程模式》(8) 4
    7. 【项目记录】-上门洗车-汽车服务 4
    8. 从RPC开始(二)、序列化 4
    9. 微信小程序之快速接入七牛云 5
    10. 开发团队在TFS中使用Git Repository (二) 5

    随机文章

    1. 代理模式
    2. C# 与JAVA 的RSA 加密解密交互,互通,C#使用BouncyCastle来实现私钥加密,公钥解密的方法
    3. pushState、replaceState、onpopstate 实现Ajax页面的前进后退刷新
    4. WebGIS项目中利用mysql控制点库进行千万条数据坐标转换时的分表分区优化方案
    5. 异步复位同步释放兼谈同步数字电路实质