本文介绍使用PaddleRS基于GeoJSON数据进行建筑提取的全流程。先安装GDAL、PaddleRS及pygeovis等依赖，解压含tif和geojson文件的数据集，经预处理将geojson转图像、切片并生成数据列表，再构建数据集、定义UNet模型训练，最后评估并推理，还可将结果转为geojson在地图上展示。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
PaddleRS：geojson-建筑提取
GeoJSON是一种对各种地理数据结构进行编码的格式，基于Javascript对象表示法(JavaScript Object Notation, 简称JSON)的地理空间信息数据交换格式。
在一些在线地图应用中，进行建筑的标注等主要通过上传相关的geojson数据。我们可以通过geojson.io进行查看。而一些标签的数据，同样是来自如OSM等导出的geojson数据。下面我们将使用PaddleRS，针对geojson的标签进行训练和预测的全流程进行操作。
0. 准备
由于其中涉及到一些坐标转换和格式转换（*.tif等），因此需要先安装GDAL。
安装pygeovis，这是根据folium进行保存的库，用于简单将栅格图像和geojson显示在可交互的OSM地图上。
克隆并安装PaddleRS及其依赖项。
In [ ]
# 安装GDAL! pip install -q --upgrade pip %cd data/data136010 ! mv GDAL-3.4.1-cp37-cp37m-manylinux.whl GDAL-3.4.1-cp37-cp37m-manylinux_2_5_x86_64.manylinux1_x86_64.whl ! pip install GDAL-3.4.1-cp37-cp37m-manylinux_2_5_x86_64.manylinux1_x86_64.whl %cd ~
In [ ]
# 克隆项目# %cd ~# ! git clone https://github.com/PaddlePaddle/PaddleRS.git# 安装requirements# ! pip install -qr PaddleRS/requirements.txt# ! pip install -qe PaddleRS! pip install -e git+https://github.com/PaddlePaddle/PaddleRS.git#egg=paddlers
In [ ]
# 用于显示交互式的地图和结果! pip install -q pygeovis
In [5]
# 导入# import sys# sys.path.append("src/paddlers")
1. 数据预处理
原始的数据在work/test_data.zip中，数据如下：
test_data
├─ train.tif
├─ train.geojson
├─ val.tif
└─ val.geojson
因为数据是一张大图，因此在训练评估前需要裁剪为较小的大小。预处理部分有以下几点：
解压数据集。
将geojson转为图像（由于脚本的转换是保留相同的名字，train.geojson对应的train.tif已经存在，因此需要先进行一次重命名）。
将数据进行切片，可以通过--block_size进行块大小设置，默认512。
生成数据列表。
In [ ]
# 解压! unzip -oq work/test_data.zip -d work/test_data
In [ ]
# json转为mask! python PaddleRS/tools/geojson2mask.py --srcimg_path work/test_data/train.tif \
--geojson_path work/test_data/train.geojson \
--save_path work/test_data/train_label.tif
! python PaddleRS/tools/geojson2mask.py --srcimg_path work/test_data/val.tif \
--geojson_path work/test_data/val.geojson \
--save_path work/test_data/val_label.tif
In [ ]
# 数据切片! python PaddleRS/tools/split.py --image_path work/test_data/train.tif --mask_path work/test_data/train_label.tif --save_dir dataset/train ! python PaddleRS/tools/split.py --image_path work/test_data/val.tif --mask_path work/test_data/val_label.tif --save_dir dataset/val
*数据展示
pygeovis中仅有Geovis对象，拥有的方法也只有addRaster、addVector和show，分别对应添加一个栅格图层、添加一个矢量图层以及显示。通过下面的代码可以在notebook中显示交互式地图。效果如下：
注意：保存时请清除这个交互式地图，不然notebook太大了退出后所有内容不可见
In [ ]
# 新的paddlers集成了显示功能，提供国内图源，因此该地需缩放才能看到在线地图from paddlers.utils.visualize import map_display
map_display( "work/test_data/train_label.tif", "work/test_data/train.tif",
[1, 2, 3]
)
In [ ]
# 划分数据集import osimport os.path as ospimport randomfrom tqdm import tqdm
random.seed = 888def create_list(dataset_floder: str) -> None:
mode = ["train", "val"] for m in mode:
img_names = os.listdir(osp.join(dataset_floder, m, "images"))
random.shuffle(img_names) if ".ipynb_checkpoints" in img_names: # 移除ipynb_checkpoints
img_names.remove(".ipynb_checkpoints") with open(osp.join(dataset_floder, (m + "_list.txt")), "w") as f: for idx, img_name in tqdm(enumerate(img_names)):
img_path = osp.join(m, "images", img_name)
lab_path = osp.join(m, "masks", img_name.replace("jpg", "png"))
f.write(img_path + " " + lab_path + "\n")
create_list("dataset")
*数据检查
为了检查前面的geojson转为图像以及分块是否正确，我们可以通过读取train_list.txt中的图像进行显示，检查正确性。
In [ ]
# 查看数据import os.path as ospimport numpy as npimport matplotlib.pyplot as pltfrom PIL import Image
%matplotlib inline
dataset_floder = "dataset"with open(osp.join(dataset_floder, "train_list.txt"), "r") as f:
train_paths = f.readlines()for train_path in train_paths:
img_path, lab_path = train_path.strip().split(" ")
img_path = osp.join(dataset_floder, img_path)
lab_path = osp.join(dataset_floder, lab_path)
img = np.asarray(Image.open(img_path))
lab = np.asarray(Image.open(lab_path)) print("标签值：", np.unique(lab)) # 查看标签中有的值
plt.figure(figsize=(10, 5))
plt.subplot(121);plt.imshow(img);plt.title("Image")
plt.subplot(122);plt.imshow(lab * 255);plt.title("Label")
plt.show() break
2. 训练
PaddleRS的设计主要参考自PaddleSeg，因此我们像使用PaddleSeg一样的使用PaddleRS。
2.1 构建数据集
首先是构造数据集，为数据集添加对应的transforms。在PaddleRS中所有的transforms都可以对多通道的数据进行处理，这是为了方便遥感方面的一些设计。
In [ ]
# 构建数据集from paddlers.datasets import SegDatasetimport paddlers.transforms as T
train_transforms = T.Compose([
T.RandomHorizontalFlip(), # 随机水平翻转
T.RandomVerticalFlip(), # 随机竖直翻转
T.RandomDistort(), # 随机色彩的扭曲
T.Resize(target_size=512), # 固定大小
T.Normalize(mean=[0.5] * 3, std=[0.5] * 3), # 归一化])
eval_transforms = T.Compose([
T.Resize(target_size=512),
T.Normalize(mean=[0.5] * 3, std=[0.5] * 3),
])# 分别构建训练和验证所用的数据集train_dataset = SegDataset(
data_dir="dataset", # 数据地址
file_list="dataset/train_list.txt", # 数据列表路径
transforms=train_transforms,
num_workers=0,
shuffle=True # 是否打乱数据集)
eval_dataset = SegDataset(
data_dir="dataset",
file_list="dataset/val_list.txt",
transforms=eval_transforms,
num_workers=0)
2.2 定义任务
这里我们选择了最常用的网络之一UNET。可以通过model.net获取paddle.nn.Layer类型组网。
In [ ]
from paddlers.tasks.segmenter import UNet model = UNet(in_channels=3, num_classes=2)
2.3 开始训练
目前训练时的lr和opt可以通过预先设定，然后通过optimizer参数传入。设定如下：
lr_scheduler = paddle.optimizer.lr.xxxDecay(LR, xxx)
optimizer = paddle.optimizer.xxx(
learning_rate=lr_scheduler,
parameters=model.net.parameters()
)
model.train(
...
optimizer=optimizer,
...
)
In [ ]
model.train(
num_epochs=200,
train_dataset=train_dataset,
train_batch_size=16,
eval_dataset=eval_dataset,
save_interval_epochs=20,
log_interval_steps=5,
pretrain_weights="COCO",
save_dir="output",
learning_rate=0.01,
early_stop=True,
use_vdl=True)
3. 评估
In [2]
from paddlers.tasks import load_modelimport paddlers.transforms as T
model = load_model("output/best_model") # 加载模型及参数eval_transforms = T.Compose([
T.Resize(target_size=512),
T.Normalize(mean=[0.5] * 3, std=[0.5] * 3),
])
2023-04-07 23:04:12 [WARNING] Including an `Arrange` object in the transformation operator list is deprecated and will not take effect. 2023-04-07 23:04:12 [INFO] Model[UNet] loaded.
In [ ]
model.evaluate(eval_dataset)
4. 预测推理
PaddleRS可以分为小图块的直接推理，以及大图滑框推理（推理结果直接保存为*.tif），并可以通过脚本转换为geojson格式。
In [11]
import numpy as npimport matplotlib.pyplot as pltfrom PIL import Imagefrom paddlers.utils.postprocs import building_regularization, prepro_mask
%matplotlib inline
img_path = "dataset/val/images/val_2_6.tif"lab_path = "dataset/val/masks/val_2_6.tif"pred = model.predict(img_path, eval_transforms)["label_map"]
pred_reg = building_regularization(prepro_mask(pred))
plt.figure(figsize=(10, 10))
plt.subplot(221);plt.imshow(np.asarray(Image.open(img_path).convert("RGB")));plt.title("Image")
plt.subplot(222);plt.imshow(np.asarray(Image.open(lab_path).convert("L")));plt.title("Label")
plt.subplot(223);plt.imshow(pred);plt.title("Pred")
plt.subplot(224);plt.imshow(pred_reg);plt.title("Pred_Regularization")
plt.show()
In [ ]
# 大图输出model.slider_predict(
img_file="work/test_data/val.tif",
save_dir="infer", # 保存路径
block_size=512, # 图像块大小
overlap=36, # 重叠区域大小
transforms=[T.Normalize([0.5] * 3, [0.5] * 3)] # 数据预处理)
In [ ]
# 转为geojson! python PaddleRS/tools/mask2shape.py --mask_path infer/val.tif \
--save_path infer/val.geojson \
--srcimg_path work/test_data/val.tif
In [ ]
# 查看训练效果# （请在notebook中运行查看）# （同时禁用滚动输出功能）# （右上角可切换图层显示）from pygeovis import Geovis
geovis = Geovis()
geovis.addRaster("work/test_data/val.tif")
geovis.addVector("work/test_data/val.geojson")
geovis.addVector("infer/val.geojson")
geovis.show()
