夜间路口车流量自动统计

这篇博客完整记录 zyx-airoadcount 项目:在夜间固定机位监控视频上,用 YOLO11s + ByteTrack 实现虚拟计数线的车流量统计,对 2 个摄像头点位的 262 个 1 分钟切片(合计约 4.4 小时)完成逐片计数,并与人工调查表做了 5 分钟粒度的交叉验证——总量偏差 -1.7%,每箱 MAE 1.04 辆。本文从计数算法设计、批处理工程、性能基准矩阵、量化实验到真值对比逐层展开,包括几个真实踩过的坑(supervision API 漂移、计数线出画、pgrep 自杀)。

任务与数据

点位 场景 分辨率 切片数 真值
cam12 西二旗中路科宁路路口 双向、斜向对角车流、夜间高峰 1920×1080 @25fps 131 无
cam13 快手大厦西北门 笔直道路、单向(东向西)、路边停满非机动车 2560×1440 @25fps 131 人工调查 xlsx(5min×7 车型)

要求输出:按车型(小客/出租/公交/货车…)× 方向 × 5 分钟分箱的过线流量,格式对齐人工调查表以便提交。

cam12 场景与计数线
cam12:双向车流沿左上↔右下对角线行驶,黄色为虚拟计数线 (200,750)→(1100,350)。

cam13 场景与计数线
cam13:夜间单向驶离车流,线 (100,1050)→(1650,700) 横跨车道。

标定流程很朴素:每个点位抽 3 帧不同时刻的画面,确认机位固定(帧间无位移),人眼把线放到”横跨全部车道、避开停止线排队区”的位置。机位固定这一点决定了后面所有设计——不需要做相机运动补偿。

计数算法:为什么没用现成的 LineZone

supervision 库有现成的 LineZone,本来是最短路径,但实测不可用,两个原因:

  1. API 漂移:0.32 版本移除了多类计数的 LineZoneMultiClass,LineZone 改成 trigger() 方法 + in_count_per_class 属性;
  2. 判定几何不对路:trigger() 用检测框四个角是否进入”兴趣带”来判定过线,兴趣带是轴对齐的。而 cam12 的车流是斜穿画面的——包围盒角点几乎同时进入带区,斜向车流对这条水平/垂直带不敏感,漏计严重。

于是手写了一个基于质心轨迹 × 有限线段求交的计数器,判定三要素:

1
2
3
4
def side(ax, ay, bx, by, cx, cy):
"""点 (cx,cy) 在有向线段 A→B 的哪一侧:叉积符号。"""
v = (bx - ax) * (cy - ay) - (by - ay) * (cx - ax)
return int(v > 0) - int(v < 0)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
def seg_intersect(p1, p2, p3, p4):
"""线段 p1-p2 与 p3-p4 是否真实相交(含端点接触)。"""
def orient(a, b, c):
v = (b[0] - a[0]) * (c[1] - a[1]) - (b[1] - a[1]) * (c[0] - a[0])
return int(v > 1e-9) - int(v < -1e-9)
def on_seg(a, b, c):
return (min(a[0], b[0]) - 1e-9 <= c[0] <= max(a[0], b[0]) + 1e-9 and
min(a[1], b[1]) - 1e-9 <= c[1] <= max(a[1], b[1]) + 1e-9)
o1, o2, o3, o4 = orient(p1, p2, p3), orient(p1, p2, p4), orient(p3, p4, p1), orient(p3, p4, p2)
if o1 != o2 and o3 != o4:
return True
if o1 == 0 and on_seg(p1, p2, p3): return True
# …(其余三种端点接触情况同理)
return False

逐帧对每个 tracker_id 维护”上一帧质心”,跨帧判定:

1
2
3
4
5
6
7
8
9
10
cur = side(ax, ay, bx, by, cx, cy)
px, py = state[tid] # 上一帧质心
moved = np.hypot(cx - px, cy - py)
if (side(ax, ay, bx, by, px, py) != 0 and cur != 0
and side(ax, ay, bx, by, px, py) != cur # 两侧符号翻转
and moved >= MIN_MOVE # 位移阈值,防抖动
and seg_intersect((px, py), (cx, cy), (ax, ay), (bx, by))):
# 判定一次过线:方向 = cur 的符号,类别 = 当前检测类别
events.append({"frame": idx, "t_s": idx / fps, "id": tid,
"class": name, "dir": "pos" if cur > 0 else "neg"})

为什么这四个条件缺一不可:

  • 符号翻转(side(prev) != side(cur)):过线的本质定义;
  • 线段求交:只看符号会误判——被遮挡的检测目标 ID 切换后,新轨迹起点可能”凭空”出现在线的另一侧。要求 prev→cur 的移动线段真实穿过有限线段(不是无限延伸的直线),路外跳变、远处瞬移都不算;
  • MIN_MOVE=8px:静止排队车辆质心抖动不触发;
  • prev 侧非零:目标第一次上线时 prev 不存在,避免”出生即过线”。

方向语义按场景定义:cam12 中 pos = 迎面驶向路口(approach),neg = 驶离(recede)。

输出格式:一片一个 JSON,事件流可回放

每个切片输出一个 summary JSON,聚合、对比、重出表全部从事件流现算——视频删了也不影响任何后续统计:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
{
"video": "20261118213825_008793AA.MP4",
"resolution": [1920, 1080],
"line_native": [200, 750, 1100, 350],
"conf": 0.25,
"frames": 1500,
"pos_by_class": { "car": 12, "motorcycle": 8, "bus": 1 },
"neg_by_class": { "car": 3, "motorcycle": 1 },
"total_cross": 25,
"total_excl_motorcycle": 16,
"events": [
{ "frame": 37, "t_s": 1.48, "id": 1, "class": "car", "dir": "neg" },
{ "frame": 57, "t_s": 2.28, "id": 3, "class": "car", "dir": "pos" },
{ "frame": 292, "t_s": 11.68, "id": 280, "class": "motorcycle", "dir": "pos" }
]
}

这一片(21:38 的 cam12)的标注渲染效果,计数线、检测框、实时计数器都在:

过线最密集的 6 秒(t=50.3s 起,9 次过线)做成 GIF:

过线密集段 GIF

公交过线瞬间的定格(t=45.4s,bus#114 approach,红圈为触发点):

公交过线瞬间

性能基准:瓶颈到底在哪

先给结论矩阵(同一段 60s 1080p 切片,基线计数 = 14 次):

性能基准矩阵

配置 实时倍率 计数 判定
1080p 基线(stride=1, imgsz=640) 1.73x 14 参照
FP16 (half) 1.60x 14 无收益
imgsz=416 + FP16 1.64x 15 无收益
540p 降分辨率 2.17x 9 计数崩 -5
stride=2(隔帧) 2.90x 16 (+2) 有效
stride=3 3.79x 15 (+1) 有效
4 worker 并行(摊薄) 5.10x 14 有效

三个反直觉的发现,每个都有机制解释:

1. 降分辨率不省算力。 YOLO 推理前反正把每帧 resize 到 640×640,GPU 计算量与输入分辨率无关。单独剖析解码环节:纯 cap.read() 循环 1080p 能跑到 9.8x 实时——解码也根本不是瓶颈。真正的开销是逐帧的 Python 循环 + ByteTrack 更新 + 结果对象解析。所以 540p 只换来 25% 提速,却付出计数 -36% 的代价:夜间画面本来就暗,540p 下小车目标直接漏检。

2. 降分辨率还引爆了一个真 bug。 540p 首测计数只有 2——排查发现计数线坐标 (200,750)→(1100,350) 是按 1080p 定的,540p 画面里 y=750 已经出画,线在画面外,悄悄漏数。修复是把线定义为 1080p 参考坐标、运行时自动缩放到实际分辨率:

1
2
3
4
5
6
def scale_line(line, w, h):
ax, ay, bx, by = line
if (w, h) != (1920, 1080):
sx, sy = w / 1920.0, h / 1080.0
ax, ay, bx, by = int(ax * sx), int(ay * sy), int(bx * sx), int(by * sy)
return ax, ay, bx, by

这个 bug 的教训比它的修复更值钱:计数类系统的错误是静默的——没有报错、没有 NaN,只有数字悄悄变小。cam13 是 2560×1440,靠这个自动缩放才能和 cam12 共用一套批处理。

3. 跳帧是真杠杆,代价是 ID 漂移。 车流计数不需要 25fps:stride=2 拿 2.9x、stride=3 拿 3.8x。代价是低帧率下相邻帧位移变大,ByteTrack 匹配变差,ID 切换导致计数 +1~2 的漂移。对”总量精度优先”的本任务,最终选择 stride=1 + 多进程并行,而不是跳帧。

量化(INT4/INT8)为什么全军覆没。 有人直觉”INT4 甚至都够用”——对 LLM 成立,对 CNN 无从谈起。导出 ONNX 数了一下带权算子直方图:

量化现实检查

90 个带权算子里 Conv=88、MatMul/Gemm=2。INT4 内核(MatMul4Bits 等)在 ONNX Runtime / TensorRT / torchao 里只覆盖矩阵乘类算子,卷积主流最低到 INT8——98% 的权重根本没有 INT4 内核可用。INT8 实测呢?CPU 上 fp32 84ms → INT8 动态量化 **120ms,反而 +43%**:x86 卷积缺少融合路径,逐层量化/反量化开销大于收益。GPU 侧 FP16 同样无收益(1.60x vs 1.73x),因为瓶颈不在算力。

批处理工程:262 个切片的跑法

单 worker ~31s/片要跑 2 小时以上。GPU 利用率只有 28%,说明单进程喂不饱卡——直接上多进程分片:

1
2
3
4
5
6
7
8
9
10
11
12
# batch_count.py:按 worker 序号取模分片,结果存在即跳过(幂等)
if a.workers > 1:
jobs = jobs[a.worker::a.workers]
...
for i, (cam, clip, out, line) in enumerate(jobs):
if os.path.exists(out):
continue
s = count_clip(model, clip, line)
tmp = out + ".tmp"
with open(tmp, "w") as f:
json.dump(s, f, ensure_ascii=False)
os.replace(tmp, out) # 原子写,中断不留半截 JSON
1
2
3
4
5
# runner_multi.sh:4 个分离 worker,全部完成才打 DONE 标记
for w in 0 1 2 3; do
python -u batch_count.py --workers 4 --worker $w >> batch.log 2>&1 &
done
wait ... && touch batch.DONE

幂等 + 原子写让”续跑”零成本:中断、重启、改参数,重发 runner 即可,已完成的 262 个 JSON 原样保留。4 worker 后单片耗时涨到 47s(争用),但聚合吞吐 **5.1x 实时**,GPU 利用率 28%→83%。

内存这条线也值得说。 机器只有 16GB(WSL2),4 个 worker 各吃 1.86GB。先入为主的优化——限 torch/opencv 线程数(torch.set_num_threads(2))、限 glibc arena(MALLOC_ARENA_MAX=2)、限解码缓冲——实测只省了 80MB:RSS 的大头是每进程独立收费的 CUDA context + torch 运行时(~1.3-1.5GB/进程),Python 侧可调项本来就小。真正的内存杠杆只有一个:worker 数量。每加一个 worker ≈ +1.9GB,”低内存模式”就是 2 worker。

踩坑实录(工程类):

  • pgrep -f "batch_count.py" 会匹配到执行这条命令的 shell 包装进程自身,kill $(pgrep …) 把自己 SIGTERM 了。杀进程命令里一律用括号模式 pgrep -f "batch_count[.]py",并且先杀叶子(python worker)再杀监督(runner.sh);
  • ultralytics 首次运行会自动 pip 安装 ByteTrack 依赖 lap,本次耗时 156 秒——正好卡在那一次运行里,导致当次 tracker_id 没生效、计数异常。环境准备阶段就该显式装齐;
  • WSL2 的分离进程不抗休眠、/tmp 会被清空:长任务日志和中间态全部落工作区,不碰 /tmp。

效果验证:和人工调查对账

cam13 点位有同步的人工调查表(5 分钟分箱 × 7 车型,方向”东向西”)。取视频窗口内 25 个完整分箱(5 个分钟片齐全)对比:

真值对比

  • **总量:机器 115 vs 人工 117,偏差 -1.7%**;MAE 1.04 辆/箱,20/25 箱误差 ≤1;
  • 方向判定与人工一致:人工记录全为东向西,机器 109 次驶离 + 6 次反向(反向即 ID 切换噪声);
  • 但车型构成失真:人工记录里有 20 辆大客车 + 1 辆中货车,机器 bus=0、truck=0,car 多了 19——夜间远距离的大客车被整体误判成小客车。旁证:同一模型在 cam12(视角更近)正常识别出 66 辆公交。所以不是模型”不会认公交”,是这个机位的目标像素不够。总量准 + 构成错的组合,恰好说明和真值对账必须对到分类维度,只看总量会掩盖系统性偏差。

最终取舍:提交口径以总量为准,车型构成在说明页标注限制(用户拍板”就这样不改了”——修的话首选 yolo11m 重跑 cam13,约 50 分钟)。

cam12 没有真值,输出它的流量画像(逐分钟过线数,5 分钟滑动均值):

cam12 流量曲线

两小时合计 2804 次过线:小客 2036 / 公交 66 / 货车 8 / 摩托·电动车 694。机动车流量从 21 点 ~15/分钟爬到 22 点后 ~20/分钟;摩托车持续衰减(21 点高峰 8-11/分钟 → 23 点归零),是典型的外卖通勤潮汐。来车 1974 vs 去车 830 的显著不对称值得注意,方向语义上”来车”覆盖了主路的两个进口方向,与场景相符。

交付物

  • results/cam{12,13}/*.json:262 个逐片事件流(聚合、改口径、重出表的数据底座);
  • 提交表 xlsx:照调查表模板(5min × 6 车型 + 合计),另附分方向 sheet 和统计说明 sheet——车型映射限制(出租并入小客、货车不分档、摩托单列)全部写在说明页里;
  • 脚本四件套:count_vehicles.py(原型+标注渲染)、batch_count.py(分片批处理)、aggregate_report.py/compare_detail.py(聚合与真值对比)、runner_multi.sh(监督启动)。

局限与后续

  1. 车型细分:夜间远距 bus↔car 混淆是当前最大短板,候选方案 yolo11m/l 或加 imgsz;
  2. ID 切换漂移:跳帧模式和遮挡场景下计数 +1~2 抖动;可用轨迹级二次校验(同一 ID 双向折返剔除)进一步压噪声;
  3. 单线单向假设:机位固定才成立;换机位需重新标定,多线分车道计数未做;
  4. RTSP 实时流:批处理已验证,实时模式(断流重连、时钟对齐)未做。

总结

这个项目的价值不在模型(yolo11s 开箱即用),而在把”检测+跟踪”变成”可信计数”的那段工程:

  • 计数判定用质心 × 有限线段求交,比包围盒触发更适合斜向车流,遮挡跳变天然免疫;
  • 静默错误是统计系统的头号敌人——计数线出画 bug 教会我:任何口径变化(分辨率、裁剪)后必须回归已知答案;
  • 性能优化先剖析再动手:这条管线瓶颈在逐帧 CPU 开销,不在 GPU/解码/精度,所以跳帧和多进程有效,降分辨率和量化无效甚至有害;
  • 多进程 CUDA 的内存大头是 CUDA context 按进程收费,调 Python 参数省不了几个 G;
  • 和人工真值对账要对到分类维度:总量 -1.7% 的漂亮数字底下,藏着 bus 全军覆没的结构性错误。

环境:RTX 4060 Ti 16GB / WSL2 / conda env vehcount(ultralytics 8.4.216 + torch 2.15.0+cu132 + opencv 5.1.0)。模型权重 yolo11s.pt(GitHub 直连 65KB/s,换 gh-proxy 镜像 855KB/s)。

Donate
  • Copyright: Copyright is owned by the author. For commercial reprints, please contact the author for authorization. For non-commercial reprints, please indicate the source.
  • Copyrights © 2023-2026 BernieDif
  • Visitors: | Views:

请我喝杯茶吧~

支付宝
微信