python爬取steam市场数据

　

steam市场

• 用Python写了个爬虫，爬取csgo中AK47红线的交易数据并保存

import csv
import requests
import re

url='https://steamcommunity.com/market/listings/730/AK-47%20%7C%20Redline%20%28field-Tested%29'
headers={
            'user-agent':'Mozilla/5.0 (linux; Android 6.0; nexus 5 build/MRA58N) APPleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Mobile Safari/537.36',
            }

response=requests.get(url,headers=headers)

result=re.search('<script.*?line1=(.*?);.*?</script>',response.text,re.S)  
#匹配表格的信息，价格为美元，返回的类型为字符串
path=r'C:\Users\AdMinistrator\Desktop\python\ak47list.txt'

with open(path,'w',encoding='utf-8') as f:
    f.write(result.group(1))
    
file=open(path)
file_read=file.read()

table=str.maketrans('','','":+[]')#删除字符串中的“ ： + []
file_translate=file_read.translate(table)

lst=file_translate.split(',')#以逗号为分隔符，将字符串转换为列表

list_time=[]
list_price=[]
list_num=[]
#将时间、价格、数量三个信息分别存入三个list
i=0
j=0
while i < len(lst):       
    list_time.insert(j,lst[i])
    list_price.insert(j,lst[i+1])
    list_num.insert(j,lst[i+2])
    i=i+3
    j=j+1
#创建csv文件，并将数据写入
with open('ak47list.csv','a') as csvfile:
   writer=csv.writer(csvfile)
   writer.writerow(['time','price','number'])
   for i in range(len(list_time)):
       writer.writerow([list_time[i],list_price[i],list_num[i]])

相关阅读

Python strip()方法

描述 Python strip() 方法用于移除字符串头尾指定的字符（默认为空格）。 语法 strip()方法语法： str.strip([chars]); 参数

python爬虫——爬取抽屉新热榜

爬取抽屉新热榜 爬取段子 抽屉网址https://dig.chouti.com/r/scoff/hot/ 爬虫的常规操作，根据需求进行分析。我们要爬取段子，也就

动态规划挖金矿问题——python实现

最近在复习动态规划问题，在处理挖金矿问题的时候发现网上以python实现的代码很少，于是自己整理一份。 问题描述：漫画图解 公式和讲解

Python——极客战记codecombat关卡代码

不到万不得已，请各位不要走这条捷径噢，毕竟思路比代码本身更重要。 成果不易，转载请注明出处，谢谢。 文章目录kithgard地牢地牢深藏

利用Python生成马赛克画，简单两步去除马赛克！

大家知道马赛克画是什么吗？不是动作片里的马赛克哦~~ 马赛克画是一张由小图拼成的大图，本文的封面就是我们的效果图，放大看细节，每一