2018年08月17日

なんで以前成功したクローラが上手くいかないかと思ったら、URLがhttpsに変わっていた!「Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう」

2章 高度なスクレイピング で、

./login-getfav.py
マイページが取得できませんでした

がずっと出るので、Ubuntu18.04から
CentOS7.5に変更したが、結果変わらず。

そして、ようやく原因判明。
昨今のhttps化の流れで、httpでは無かったのが原因。

全く無駄な時間だった・・・・。

■CentOS7.5で「Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう」を試行するための環境づくりは、以下の通り。


yum -y install epel-release
yum -y install python36 python36-devel python36-pip

python36 -V


python36 -m ensurepip


# pip3 list
DEPRECATION: The default format will switch to columns in the future. You can use --format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] section) to disable this warning.
pip (9.0.3)
setuptools (39.0.1)
You are using pip version 9.0.3, however version 18.0 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.



pip3 install --upgrade pip

# pip3 list
Package Version
---------- -------
pip 18.0
setuptools 39.0.1


pip3 install requests

pip3 install beautifulsoup4

はあ、もう寝るか。

◎Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう:円
Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう -
Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう -


◎ソフトウェアデザイン 2018年 1 月号:1,318円
ソフトウェアデザイン 2018年 01 月号 [雑誌] -
ソフトウェアデザイン 2018年 01 月号 [雑誌] -
posted by アンドレアス at 23:15| Comment(0) | vi上級 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

※ブログオーナーが承認したコメントのみ表示されます。