百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

python中协程的详解(附示例) python2.7 协程

lipiwang 2024-11-01 14:10 8 浏览 0 评论

本篇文章给大家带来的内容是关于python中协程的详解(附示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

协程,又称微线程,纤程。英文名Coroutine

协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。

最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。

第二大优势就是不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。

因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。

yield实现协程

Python对协程的支持还非常有限,用在generator中的yield可以一定程度上实现协程。虽然支持不完全,但已经可以发挥相当大的威力了。

import threading

import time

def producer(c):

c.__next__()

n=0

while n<5:

n+=1

print('[生产者]产出第%s条数据' %(n))

res = c.send(n)

print('[返回]:%s' %(res))

def consumer():

r='sheenstar'

while True:

# 更新r值: r = 'This is ok!', c.__next__()

# n= yield r --> c.send(n) --> n更新

n = yield r

if not n:

break

print('[消费者]正在调用第%s条数据' %(n))

time.sleep(1)

r = 'This is ok!'

if __name__=='__main__':

print(threading.current_thread())

print(threading.active_count()) #查看当前进行的线程

c = consumer()

producer(c) #函数中有yield, 返回值为生成器;

print(threading.active_count()) #1

gevent库实现协程

Python通过yield提供了对协程的基本支持,但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。

gevent是第三方库,通过greenlet实现协程,其基本思想是:

当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成。

假设多协程执行的任务, 没有IO操作或者等待, 那么协程间是依次运行, 而不是交替运行;

假设多协程执行的任务, IO操作或者等待, 那么协程间是交替运行;

#没有等待

import gevent

from gevent import monkey

monkey.patch_all()

def job(n):

for i in range(n):

print(gevent.getcurrent(),i)

def mian():

g1 = gevent.spawn(job,1)

g2 = gevent.spawn(job,2)

g3 = gevent.spawn(job,3)

gevent.joinall([g1,g2,g3])

print('协程执行任务结束...')

if __name__=="__main__":

mian()

"""

#有等待

import time

from gevent import monkey

monkey.patch_all()

import gevent

def job(n):

for i in range(n):

print(gevent.getcurrent(), i)

time.sleep(1)

def main1():

# 创建三个协程, 并让该协程执行job任务

g1 = gevent.spawn(job, 2)

g2 = gevent.spawn(job, 3)

g3 = gevent.spawn(job, 2)

# 等待所有的协程执行结束, 再执行主程序;

gevent.joinall([g1, g2, g3])

print("任务执行结束.....")

main1()

协程与线程

做一个关于协程和线程花费时间的对比实验,不具有参考性 。

import time

import gevent #导入协程

from gevent import monkey

from urllib.request import urlopen #连接网络

from mytimeit import timeit #导入计算时间的装饰器

from concurrent.futures import ThreadPoolExecutor #导入线程池

def get_len_url(url):

with urlopen(url) as u_conn:

data = u_conn.read()

# print('%s该网页共%s字节' %(url,len(data)))

urls = ['http://httpbin.org', 'http://example.com/']*100

@timeit

def coroutineall():

gevents = [gevent.spawn(get_len_url,url) for url in urls]

gevent.joinall(gevents)

@timeit

def threadall():

with ThreadPoolExecutor(max_workers=100) as thpool:

thpool.map(get_len_url,urls)

if __name__=="__main__":

coroutineall()

threadall()

以上就是python中协程的详解(附示例)的详细内容,更多请关注其它相关文章!

更多技巧请《转发 + 关注》哦!

相关推荐

ubuntu单机安装open-falcon极度详细操作

备注:以下操作均由本人实际操作并得到验证,喜欢的同学可尝试操作安装。步骤一1.1环境准备(使用系统:ubuntu18.04)1.1.1安装redisubuntu下安装(参考借鉴:https://...

Linux搭建promtail、loki、grafana轻量日志监控系统

一:简介日志监控告警系统,较为主流的是ELK(Elasticsearch、Logstash和Kibana核心套件构成),虽然优点是功能丰富,允许复杂的操作。但是,这些方案往往规模复杂,资源占用高,...

一文搞懂,WAF阻止恶意攻击的8种方法

WAF(Web应用程序防火墙)是应用程序和互联网流量之间的第一道防线,它监视和过滤Internet流量以阻止不良流量和恶意请求,WAF是确保Web服务的可用性和完整性的重要安全解决方案。它...

14配置appvolume(ios14.6配置文件)

使用AppVolumes应用程序功能,您可以管理应用程序的整个生命周期,包括打包、更新和停用应用程序。您还可以自定义应用程序分配,以向最终用户提供应用程序的特定版本14.1安装appvolume...

目前流行的缺陷管理工具(缺陷管理方式存在的优缺点)

摘自:https://blog.csdn.net/jasonteststudy/article/details/7090127?utm_medium=distribute.pc_relevant.no...

开源数字货币交易所开发学习笔记(2)——SpringCloud

前言码云(Gitee)上开源数字货币交易所源码CoinExchange的整体架构用了SpringCloud,对于经验丰富的Java程序员来说,可能很简单,但是对于我这种入门级程序员,还是有学习的必要的...

开发JAX-RPC Web Services for WebSphere(下)

在开发JAX-RPCWebServicesforWebSphere(上)一文中,小编为大家介绍了如何创建一个Web服务项目、如何创建一个服务类和Web服务,以及部署项目等内容。接下来小编将为大...

CXF学习笔记1(cxf client)

webservice是发布服务的简单并实用的一种技术了,个人学习了CXF这个框架,也比较简单,发布了一些笔记,希望对笔友收藏并有些作用哦1.什么是webServicewebService让一个程序可...

分布式RPC最全详解(图文全面总结)

分布式通信RPC是非常重要的分布式系统组件,大厂经常考察的Dubbo等RPC框架,下面我就全面来详解分布式通信RPC@mikechen本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》...

Oracle WebLogic远程命令执行0day漏洞(CVE-2019-2725补丁绕过)预警

概述近日,奇安信天眼与安服团队通过数据监控发现,野外出现OracleWebLogic远程命令执行漏洞最新利用代码,此攻击利用绕过了厂商今年4月底所发布的最新安全补丁(CVE-2019-2725)。由...

Spring IoC Container 原理解析(spring中ioc三种实现原理)

IoC、DI基础概念关于IoC和DI大家都不陌生,我们直接上martinfowler的原文,里面已经有DI的例子和spring的使用示例《InversionofControlContainer...

Arthas线上服务器问题排查(arthas部署)

1Arthas(阿尔萨斯)能为你做什么?这个类从哪个jar包加载的?为什么会报各种类相关的Exception?我改的代码为什么没有执行到?难道是我没commit?分支搞错了?遇到问题无法在...

工具篇之IDEA功能插件HTTP_CLENT(idea2021插件)

工具描述:Java开发人员通用的开发者工具IDEA集成了HTTPClient功能,之后可以无需单独安装使用PostMan用来模拟http请求。创建方式:1)简易模式Tools->HTTPCl...

RPC、Web Service等几种远程监控通信方式对比

几种远程监控通信方式的介绍一.RPCRPC使用C/S方式,采用http协议,发送请求到服务器,等待服务器返回结果。这个请求包括一个参数集和一个文本集,通常形成“classname.meth...

《github精选系列》——SpringBoot 全家桶

1简单总结1SpringBoot全家桶简介2项目简介3子项目列表4环境5运行6后续计划7问题反馈gitee地址:https://gitee.com/yidao620/springbo...

取消回复欢迎 发表评论: