URL解析、接続 - Python徹底解説

 

{{DZ_TITLE}}
スクレイピングでWebデータを取得

解析

from urllib import parse 
url = 'http://www.cwi.nl:80/%7Eguido/Python.html?a=10&b=20'
parsed_url = parse.urlparse(url)
print('scheme   : ',parsed_url.scheme)
print('netloc   : ',parsed_url.netloc)
print('path     : ',parsed_url.path)
print('params   : ',parsed_url.params)
print('query    : ',parsed_url.query)
print('fragment : ',parsed_url.fragment)
parsed_url = parse.urlparse(url)
print('dic_query: ',parse.parse_qs(parse.urlsplit(url).query))

結果

scheme   :  http
netloc   :  www.cwi.nl:80
path     :  /%7Eguido/Python.html
params   :  
query    :  a=10&b=20
fragment :  
dic_query:  {'a': ['10'], 'b': ['20']}

接続

以下全て同じ結果。 間の/は有っても無くても補完してくれる。

from urllib import parse
parse.urljoin('https://daizyu.com/', '/python/posts/url/')
parse.urljoin('https://daizyu.com' , 'python/posts/url/' )
parse.urljoin('https://daizyu.com' , '/python/posts/url/')
parse.urljoin('https://daizyu.com/', 'python/posts/url/' )

おすすめ記事

Python徹底解説
Python徹底解説
read_excelでxls、xlsxを読み込む / Python pandas
read_excelでxls、xlsxを読み込む / Python pandas
contents.jsからbackground.jsにメッセージを渡す方法 / Chrome extension
contents.jsからbackground.jsにメッセージを渡す方法 / Chrome extension
COVID-19のRNA/DNAのチェック
COVID-19のRNA/DNAのチェック
無地の画像を作成 - OpenCV、Python徹底解説
無地の画像を作成 - OpenCV、Python徹底解説
プログラムは独学が良いか、スクールが良いか?【無償カウンセリング、無料体験あり】
プログラムは独学が良いか、スクールが良いか?【無償カウンセリング、無料体験あり】
Supponsered

外部サイト
↓プログラムを学んでみたい場合、学習コースなどもおすすめです!

Comments

comments powered by Disqus