人工智能时代，大数据的获取至关重要，利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站，自动找到目标数据，并获取目标数据的过程。今天不谈任何协议结构，只通过结合爬取股票数据的代码介绍最基本的爬虫实现，力求让略有python基础的爱好者有一个直观印象。

任务：爬取东方财富网上以6开头（比如浦发银行600000）的股票数据（最高价、换手率、成交量和成交额）。首先在东方财富网（
http://quote.eastmoney.com/stocklist.html）获取全部股票代码列表，然后访问百度股市通（http://gupiao.baidu.com/stock/+股票代码）获取具体数据。

第一步，访问网站，核心函数html=requests.get（url），url是访问链接，返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样，网站界面的全部显示数据都在源码中有详细记录。点击网页右键查看源代码即可看到。

部分网页源码

第二步，从第一步获取的网页源码数据找到我们需要的目标数据，网页源码按照一定的格式标签排列，通过标签访问目标数据，这个过程称为数据解析和查找。目标函数

解析函数soup = BeautifulSoup ( html , 'html.parser' )

查找函数 find（） 或者find_all（）或者利用正则表达式对字符串进行匹配查找。

第三步，按照一定格式进行数据存储。可直接存储到txt文件即可。程序运行后部分结果数据如下图

部分结果数据

Python3.5 实现代码如下：

from bs4 import BeautifulSoup
import traceback
import re
import time
import requests
def GetHTMLSource(url): # 得到目标网页源码
 try:
 r=requests.get(url)
 r.raise_for_status ()
 r.encoding = r.apparent_encoding
 return r.text
 except:
 print ( "异常" )
 return ""
def SetFileName():
 dirname = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) ) #获取当前日期
 dirname += 'sh'
 return dirname
def getStockList(lst , stock_list_url): # 获得东方财富网上以sh6开头的股票代码
 html = GetHTMLSource ( stock_list_url )
 soupdata = BeautifulSoup ( html , 'html.parser' )
 a = soupdata.find_all ( 'a' ) # 用find_all方法遍历所有'a'标签，并取出在'a'标签里面的’href’数据
 for i in a:
 try:
 href = i.attrs[ 'href' ]
 lst.append ( re.findall ( r"sh6\d{5}" , href )[ 0 ] ) # 匹配sh6开头的股票
 except:
 continue
def getStockInfo(lst , stock_info_url , fpath):
 ndate = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) )
 for stock in lst:
 url = stock_info_url + stock + '.html' # 具体单只股票的url
 html = GetHTMLSource ( url )
 try:
 if html == "":
 continue
 infoDict = {}
 soup = BeautifulSoup ( html , 'html.parser' )
 stockInfo = soup.find ( 'div' , attrs={'class': 'stock-bets'} )
 if stockInfo == None:
 continue
 keyData = stockInfo.find_all ( 'dt' )
 valueData = stockInfo.find_all ( 'dd' )
 inp = stock + "," + ndate + ","
 for i in range ( len ( keyData ) ):
 key = keyData[ i ].text
 val = valueData[ i ].text
 infoDict[ key ] = val
 inp += infoDict[ '最高' ] + "," + infoDict[ '换手率' ] + "," + infoDict[ '成交量' ] + "," + infoDict[ '成交额' ] + "\n"
 with open ( fpath , 'a' , encoding='utf-8' ) as f:
 f.write ( inp )
 except:
 traceback.print_exc ()
 continue
def main():
 stock_name_url = 'http://quote.eastmoney.com/stocklist.html'
 stock_data_url = 'http://gupiao.baidu.com/stock/'
 output_file = './' + SetFileName () + '.txt' # 输出文件的文件名，路径在默认在项目文件夹下
 slist = [ ]
 getStockList ( slist , stock_name_url ) #获取股票名称
 getStockInfo ( slist , stock_data_url , output_file ) #根据股票名称获取数据，保存到output_file文件中
main ()