Pythonでスクレイピング

０、はじめに

BeautifulSoupというモジュールを使うとスクレイピングが簡単になるようです。

apt-get install python3-pip
pip install beautifulsoup4

１、コード

from bs4 import BeautifulSoup
import urllib.request as req
import datetime

def dollar():
        url="https://info.finance.yahoo.co.jp/fx/detail/?code=USDJPY=FX"
        res = req.urlopen(url)
        soup = BeautifulSoup(res, 'html.parser');
        values = soup.select_one("#USDJPY_detail_bid").findAll(text=True)
        rate = float(''.join(values))
        return rate

rate = dollar()

dt_now = datetime.datetime.now()

print("USD/JPY " + dt_now.strftime('%Y-%m-%d %H:%M:%S') + " " + str(rate))