博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
互斥锁、死锁、递归锁、信号量、Event
阅读量:2302 次
发布时间:2019-05-09

本文共 4490 字,大约阅读时间需要 14 分钟。

互斥锁

互斥锁也叫用户锁、同步锁。

在多进程/多线程程序中,当多个线程处理一个公共数据时,会有数据安全问题,唯一能保证数据安全的,就是通过加锁的方式,同一时间只能有一个修改数据的操作,将处理数据变为串行。虽然牺牲了速度,但是保证了数据安全。

来看一个不加锁的栗子:

import timedef sub():    global num    temp = num    time.sleep(0.001)    num = temp -1num = 100t_l = []for i in range(100):    t = threading.Thread(target=sub,args=())    t.start()    t_l.append(t)for t in t_l:    t.join()print(num)

在上面这个程序中,我们开一百个线程,每个线程都对全局变量num实现-1的操作,如果顺利,最终num的值应该为0.

实际运行过程是这样的:
100个线程开始抢GIL,抢到的将被CPU执行:
step1: 执行global num
step2: temp = num 赋值操作
step3: 发生I/O阻塞,挂起,GIL释放 (下一步的num=temp-1 还未被执行,因此全局变量num的值仍然为100)
剩余的99个线程抢GIL锁,重复上面的步骤。
剩余的98个线程抢GIL锁,重复上面的步骤。
。。。
如果阻塞时间够长(比如大于0.1秒),在阻塞期间,100个线程都被被切换一遍的话,那么最终num的值是99;
如果阻塞时间短一点,在某个时刻,前面阻塞的线程恢复并抢到了GIL被CPU继续执行,那么执行num=temp-1赋值操作 ,全局变量num的值被改变,线程结束,下一个被执行的线程拿到的num值就是99……依次类推,最终num的值经过多次赋值操作后将变得不确定,这取决于有多多少线程从阻塞中恢复过来。
如果不阻塞的话,每个线程都会执行对num 赋值操作,下一个线程拿到的num就是上一个线程减一的结果,最终num的值归零。

下面我们进行加锁操作:

lock = threading.Lock() # 获取锁对象
lock.acquire() # 加锁
数据操作部分
lock.release() # 释放锁

import threadingimport timedef sub(lock):    global num    lock.acquire()  #获得锁    temp = num    time.sleep(0.01)    num = temp -1    lock.release()  # 执行完数据修改,释放锁num = 100lock = threading.Lock() # 实例化一个用户锁/互斥锁,这个锁是全局变量,# 每个线程获取到锁才能执行,执行完了释放,下一个线程才能获取锁t_l = []for i in range(100):    t = threading.Thread(target=sub,args=(lock,))    t.start()    t_l.append(t)for t in t_l:    t.join()print(num)

上面加锁和解锁的操作也可以通过上下文管理来实现:

with lock:    数据修改部分

死锁和递归锁

两个或两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进程称为死锁进程。看一个栗子:

import threadingimport timeclass MyThread(threading.Thread):    def run(self):        self.foo()        self.bar()    def foo(self):        LockA.acquire()        print('%s got LockA '% self.name)        LockB.acquire()        print('%s got LockB'%self.name)        LockB.release()        LockA.release()        # Thread-1在执行完foo函数后,释放锁。然后继续执行bar函数,重新获取锁。    def bar(self):        LockB.acquire()        print('%s got LockB ' % self.name)        time.sleep(1)           # 让Thread-1获得了LockB后阻塞,OS切换线程Thread-2,其先执行foo,获取到LockA,然后需要获取LockB,才能执行下去,才能释放锁。而LockB在Thread-1手中,Thread-1从阻塞中恢复,需要获得LockA才能继续执行下去,才能释放锁。于是两个线程互相等待,发生死锁。        LockA.acquire() # 因为LockA已经被其它线程抢走了,所以这里卡死了。        print('%s got LockA' % self.name)        LockA.release()        LockB.release()LockA = threading.Lock()LockB = threading.Lock()for i in range(10):    t = MyThread()    t.start()'''死锁了Thread-1 got LockA Thread-1 got LockBThread-1 got LockB  Thread-2 got LockA '''

解决方案就是使用递归锁:

在Python中为了支持在同一线程中多次请求同一资源,python提供了可重入锁RLock。
这个RLock内部维护着一个Lock和一个counter变量,counter记录了acquire的次数,从而使得资源可以被多次require。直到一个线程所有的acquire都被release,其他的线程才能获得资源。上面的例子如果使用RLock代替Lock,则不会发生死锁:
rlock = threading.RLock() # 拿到一个可重入锁对象,将上面的所有锁都更换为rlock。

Semaphore信号量

互斥锁同时只允许一个线程更改数据,而Semaphore是同时允许一定数量的线程更改数据。

Semaphore管理一个内置的计数器,
每当调用acquire()时内置计数器-1;
调用release() 时内置计数器+1;
计数器不能小于0;当计数器为0时,acquire()将阻塞线程直到其他线程调用release()。
锁信号量与进程池的概念很像,但是要区分开,信号量涉及到加锁的概念。
看一个栗子:

import threadingimport multiprocessingimport time, os, randomdef go_wc(sem,name):    with sem:        print('员工%s 抢到一个茅坑,开始蹲...'% name)        time.sleep(random.uniform(1,3))        print('员工%s 完事了,感到身心愉悦...'% name)if __name__ == '__main__':  # 如果是进程的话,在windows系统下,进程必须写到if __name__ == '__main__':内,否则报错    print('大家开始上厕所》》》')    sem = threading.Semaphore(3)    # 设定最大为3    # sem = multiprocessing.Semaphore(3)    t_l = []    for i in range(10):        t = threading.Thread(target=go_wc, args=(sem,i))        # t = multiprocessing.Process(target=go_wc,args=(sem,i))        t.start()        t_l.append(t)    for t in t_l:        t.join()    print('大家都完事了《《《')'''大家开始上厕所》》》员工1 抢到一个茅坑,开始蹲...员工0 抢到一个茅坑,开始蹲...员工5 抢到一个茅坑,开始蹲...员工0 完事了,感到身心愉悦...   同一时刻,只有3个坑,其中一个完事了,下一个才能开始员工4 抢到一个茅坑,开始蹲...'''

Event事件

在多线程环境中,每个线程的执行一般是独立的,如果一个线程的执行依赖于另一个线程的状态,那么就有必要引入某种标志位来进行判断,event就相当于一个全局的标志位。event常用于主线程控制其他线程的执行。

创建一个event对象:
event = threading.Event()
event对象的方法:
1. event.isSet() 或 event.is_set(), 返回event对象的bool值,event对象的初始bool值是False.
2. event.wait() 如果上面是True, 啥也不做,往下执行,如果上面是False, 则阻塞线程. wait(num)为超时设置,超过num秒,继续往下执行。
3. event.set() 设置event对象True
4. event.clear() 恢复为False
5. 图示:这里写图片描述

上栗子:

import threadingimport timedef request():    print('waitting for server...')    event.wait()  #阻塞,等待主线程开启服务器    print('connecting to server....')if __name__ == '__main__':    event = threading.Event()    for i in range(5):        t = threading.Thread(target=request)        t.start()    print('attemp to start server')    time.sleep(3)    event.set() # 开启服务器后,更改event状态
你可能感兴趣的文章
step by step学习LAMP配置
查看>>
Django入门
查看>>
ceph学习(二)——设计架构
查看>>
Google(一)——GFS
查看>>
Google(二)——Bigtable
查看>>
zookeeper
查看>>
step by step入门LAMP配置
查看>>
debian命令集(三)
查看>>
mysql入门
查看>>
debian下安装mysql5.5
查看>>
debian命令集(四)
查看>>
Apache+CGI+python网站构建学习资源集
查看>>
encode和decode
查看>>
在VR的路上,一大波内容开发者正在逼近
查看>>
Android 九年,我们需要学什么?
查看>>
iOS 九年,技术迭代迅捷下如何保持核心竞争力?
查看>>
探索跨平台应用开发的最佳实践
查看>>
温故而知新 - AngularJS 1.x
查看>>
Android Linker 与 SO 加壳技术
查看>>
Facebook 发布新 Node 模块管理器 Yarn,或将取代 npm 客户端
查看>>