如何优化批量经纬度距离计算，将 17 分钟的处理时间缩短？-Python教程-PHP中文网

如何优化批量经纬度距离计算，将 17 分钟的处理时间缩短？

花韻仙語

发布： 2024-11-10 12:52:15

原创

990人浏览过

如何优化批量经纬度距离计算，将 17 分钟的处理时间缩短？

批量经纬度距离计算优化

需要计算大量经纬度点之间的距离，速度较慢。本问答旨在提供优化建议，以缩短处理时间。

原始问题：

需求：找出 a 表中的点与 b 表中距离不超过 2km 的点。
数据：a 表 10 万行，b 表 25 万行。
原始代码耗时：17 分钟。

优化建议：

1. 使用矩阵计算：

通过使用 scipy.spatial.distance_matrix 函数，可以一次性计算所有点对之间的距离，提高效率。

2. 缩小搜索范围：

根据需求，只需找出距离 2km 范围内的点。可以根据最大搜索半径缩小 b 表的搜索范围。例如，假设最大搜索半径为 15km，可以通过以下方式缩小搜索范围：

美间AI

美间AI：让设计更简单

查看详情

df4_lon_max = df51.longitude.max() + 15
df4_lon_min = df51.longitude.min() - 15
df4_lat_max = df51.latitude.max() + 15
df4_lat_min = df51.latitude.min() - 15

df41 = df4[(df4['longitude'] > df4_lon_min) & (df4['longitude'] < df4_lon_max) & (df4['latitude'] < df4_lat_max) & (df4['latitude'] > df4_lat_min)]

登录后复制

3. 并行计算：

如果代码性能允许并行化，可以利用多核 cpu 并行计算，进一步加快速度。

4. 哈弗辛公式优化：

在计算距离时，使用了哈弗辛公式。此公式可以通过使用以下方法进行部分优化：

将半球弧度公式（hav）计算外移循环：

def hav(theta):
  return 0.5 * (1 - cos(theta))

def fun3(df5, df4, group=20, interval=0.15, dis=2000):
  ...
  hav_Latitude_x = hav(radians(df45['Latitude_x']))
  hav_Longitude_x = hav(radians(df45['Longitude_x']))
  hav_Latitude_y = hav(radians(df45['Latitude_y']))
  hav_Longitude_y = hav(radians(df45['Longitude_y']))
  # ...

登录后复制

5. 限制结果数量：

根据需求，只需找出距离不超过 2km 的点。可以设置一个最大结果数量，如 100 个，以避免程序计算过多不必要的距离。

以上就是如何优化批量经纬度距离计算，将 17 分钟的处理时间缩短？的详细内容，更多请关注php中文网其它相关文章！