必威体育Betway必威体育官网
当前位置:首页 > IT技术

python编程(rq调度系统)

时间:2019-06-13 00:44:14来源:IT技术作者:seo实验室小编阅读:83次「手机版」
 

rq

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】

昨天看到一个基于Python的队列调度系统,觉得挺有意思。项目的地址在这。基本操作步骤如下,

1、安装redis、rq的python库

sudo pip install redis
sudo pip install rq

2、编写work.py

import requests

def count_words_at_url(url):
    resp = requests.get(url)
    return len(resp.text.split())

3、编写process.py

from redis import Redis
from rq import queue

q = Queue(connection=Redis())
from work import count_words_at_url
result = q.enqueue(count_words_at_url, 'https://www.baidu.com')

4、运行process.py,这个时候只是将工作压进堆栈

python process.py

5、开启工作进程

rq worker

6、此时,你就可以看到计算机结果了

feixiaoxing@hp330:~$ rq worker
08:35:08 RQ worker u'rq:worker:hp330.27580' started, version 0.10.0
08:35:08 *** Listening on default...
08:35:08 Cleaning registries for queue: default
08:35:08 default: work.count_words_at_url('https://www.baidu.com') (6deae914-53be-45a1-acc9-9c5c5fc65c6c)
/usr/local/lib/python2.7/dist-packages/requests/packages/urllib3/util/ssl_.py:334: SNIMissingWarning: An HTTPS request has been made, but the SNI (subject Name Indication) extension to TLS is not available on this platform. This may cause the server to present an incorrect TLS certificate, which can cause validation failures. You can upgrade to a newer version of Python to solve this. For more information, see https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  SNIMissingWarning
/usr/local/lib/python2.7/dist-packages/requests/packages/urllib3/util/ssl_.py:132: InsecurePlatformWarning: A true SSLcontext object is not available. This prevents urllib3 from configuring SSL APPropriately and may cause certain SSL connections to fail. You can upgrade to a newer version of Python to solve this. For more information, see https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecurePlatformWarning
08:35:08 default: Job OK (6deae914-53be-45a1-acc9-9c5c5fc65c6c)
08:35:08 Result is kept for 500 seconds

相关阅读

Python strip()方法

描述 Python strip() 方法用于移除字符串头尾指定的字符(默认为空格)。 语法 strip()方法语法: str.strip([chars]); 参数

python爬虫——爬取抽屉新热榜

爬取抽屉新热榜 爬取段子 抽屉网址https://dig.chouti.com/r/scoff/hot/ 爬虫的常规操作,根据需求进行分析。我们要爬取段子,也就

动态规划挖金矿问题——python实现

最近在复习动态规划问题,在处理挖金矿问题的时候发现网上以python实现的代码很少,于是自己整理一份。 问题描述:漫画图解 公式和讲解

Python——极客战记codecombat关卡代码

不到万不得已,请各位不要走这条捷径噢,毕竟思路比代码本身更重要。 成果不易,转载请注明出处,谢谢。 文章目录kithgard地牢地牢深藏

利用Python生成马赛克画,简单两步去除马赛克!

大家知道马赛克画是什么吗?不是动作片里的马赛克哦~~ 马赛克画是一张由小图拼成的大图,本文的封面就是我们的效果图,放大看细节,每一

分享到:

栏目导航

推荐阅读

热门阅读