tqdm和enumerate和file结合使用

import

from tqdm import tqdm

tqdm + for + range

for i, line in tqdm(range(10)):
    # xxxxxxx
    pass

tqdm + enumerate

for i, line in enumerate(tqdm(f)):
    # xxxxxxx
    pass

tqdm + enumerate + file

num_lines = sum(1 for line in open(file_path, 'r'))
with open(file_path) as f:
    for i, line in enumerate(tqdm(f, total=num_lines)):
        # xxxxxxx
        pass

Python合并重叠矩形框

2022-01-21
Python
暂无评论

网上找了好久没找到能用的，索性自己写个来的更快。。。
方法比较粗暴，没咋细究，若有bug欢迎留言~~

需求：

NMS中的IOU相关，是选择一个最大或者可信度最高的框框保留。
而我们现在试需要将重叠框框合并为一个大的框框，所以不能直接用上面的。
并且OpenCV的groupRectangles在Python中我实在用不懂，而且它会把不重叠的框直接删了。。

原理：

循环+递归，依次判断两个框是否有重叠。

效果：

参考代码：

import cv2
import numpy as np


def checkOverlap(boxa, boxb):
    x1, y1, w1, h1 = boxa
    x2, y2, w2, h2 = boxb
    if (x1 > x2 + w2):
        return 0
    if (y1 > y2 + h2):
        return 0
    if (x1 + w1 < x2):
        return 0
    if (y1 + h1 < y2):
        return 0
    colInt = abs(min(x1 + w1, x2 + w2) - max(x1, x2))
    rowInt = abs(min(y1 + h1, y2 + h2) - max(y1, y2))
    overlap_area = colInt * rowInt
    area1 = w1 * h1
    area2 = w2 * h2
    return overlap_area / (area1 + area2 - overlap_area)

def unionBox(a, b):
    x = min(a[0], b[0])
    y = min(a[1], b[1])
    w = max(a[0] + a[2], b[0] + b[2]) - x
    h = max(a[1] + a[3], b[1] + b[3]) - y
    return [x, y, w, h]

def intersectionBox(a, b):
    x = max(a[0], b[0])
    y = max(a[1], b[1])
    w = min(a[0] + a[2], b[0] + b[2]) - x
    h = min(a[1] + a[3], b[1] + b[3]) - y
    if w < 0 or h < 0:
        return ()
    return [x, y, w, h]

def rectMerge_sxf(rects: []):
    # rects => [[x1, y1, w1, h1], [x2, y2, w2, h2], ...]
    '''
    当通过connectedComponentsWithStats找到rects坐标时，
    注意前2個坐标是表示整個圖的，需要去除，不然就只有一個大框，
    在执行此函数前，可执行类似下面的操作。
    rectList = sorted(rectList)[2:]
    '''
    rectList = rects.copy()
    rectList.sort()
    new_array = []
    complete = 1
    # 要用while，不能forEach，因爲rectList內容會變
    i = 0
    while i < len(rectList):
        # 選後面的即可，前面的已經判斷過了，不需要重復操作
        j = i + 1
        succees_once = 0
        while j < len(rectList):
            boxa = rectList[i]
            boxb = rectList[j]
            # 判斷是否有重疊，注意只針對水平＋垂直情況，有角度旋轉的不行
            if checkOverlap(boxa, boxb):  # intersectionBox(boxa, boxb)
                complete = 0
                # 將合並後的矩陣加入候選區
                new_array.append(unionBox(boxa, boxb))
                succees_once = 1
                # 從原列表中刪除，因爲這兩個已經合並了，不刪除會導致重復計算
                rectList.remove(boxa)
                rectList.remove(boxb)
                break
            j += 1
        if succees_once:
            # 成功合並了一次，此時i不需要+1，因爲上面進行了remove(boxb)操作
            continue
        i += 1
    # 剩餘項是不重疊的，直接加進來即可
    new_array.extend(rectList)

    # 0: 可能還有未合並的，遞歸調用;
    # 1: 本次沒有合並項，說明全部是分開的，可以結束退出
    if complete == 0:
        complete, new_array = rectMerge_sxf(new_array)
    return complete, new_array


box = [[20, 20, 20, 20], [100, 100, 100, 100], [60, 60, 50, 50], [50, 50, 50, 50]]
_, res = rectMerge_sxf(box)
print(res)
print(box)

img = np.ones([256, 256, 3], np.uint8)
for x,y,w,h in box:
    img = cv2.rectangle(img, (x,y), (x+w,y+h), (0, 255, 0), 2)
cv2.imshow('origin', img)

img = np.ones([256, 256, 3], np.uint8)
for x,y,w,h in res:
    img = cv2.rectangle(img, (x,y), (x+w,y+h), (0, 0, 255), 2)
cv2.imshow('after', img)

cv2.waitKey(0)

教你真正使用PCA(以特征匹配为例)

前言

网上一堆狂吹PCA和讲原理的，可就是不讲怎么用。
给了代码的，拿过来用效果贼差，毕竟那些只是为了画图的代码而已。。。

上代码

真正使用，分3步即可：
1、数据预处理（非常重要！！！）——零均值化和缩放
原因可以看网上原理教程，这里只关心怎么做。
很简单：

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler().fit(des_query)
des_query = scaler.transform(des_query)
des_train = scaler.transform(des_train)

2、真正执行PCA

from sklearn.decomposition import PCA

pca = PCA(n_components=32, whiten=True).fit(des_query_new)
des_query_pca = pca.transform(des_query)
des_train_pca = pca.transform(des_train)

3、对结果再做归一化(欧氏距离就用l2)

import torch

def desc_l2norm(desc):
    eps_l2_norm = 1e-10
    return (desc / torch.Tensor(desc).pow(2).sum(dim=1, keepdim=True).add(eps_l2_norm).pow(0.5)).numpy()

des_query_new = desc_l2norm(des_query_pca)
des_train_new = desc_l2norm(des_train_pca)

4、注意train和query要用同一个fit，因为不然分开学习，肯定最后结果是个“0”。这里具体fit内容怎么设置，我还没整明白，随大流填个query的吧。。。

运行结果

这时候再去做匹配，发现维度下降，有效果且精度甚至会上升。（图就不画了，懒。。。）
注意：这里只是粗匹配上升了啊，它很可能有很多的误匹配的！！！

后言

其他还有umap可以玩玩。

Conda/Virtualenv虚拟环境

2022-01-12
Python
暂无评论

conda

查看版本

conda –V

更新conda

conda update conda

查看已有环境

conda env list

建立新的虚拟环境

conda create --name myenv python=3.5

启动虚拟环境

conda activate myenv

查看虚拟环境安装列表

conda list

安装包

conda install numpy
pip3 install numpy

退出虚拟环境

deactivate

删除包

conda remove --name myenv numpy
pip3 uninstall numpy

删除虚拟环境

conda env remove --name myenv

virtualenv

创建虚拟环境

virtualenv --no-site-packages myenv  --python=python3.6