nade-nadegata.hatenablog.jp こちらの記事に記載したようにスプレイピング結果をGoogleSpreadSheetに入力することでデータベースとして使ってJSONで吐き出すようにしているのですが、最近良くエラーになるなーと思っていろいろと調べたら、GoogleAPIに制限…

qiita.com まさにこちらの記事で解決ができました。 エラーになったりならなかったり、<title></title>タグだったらうまくいったりしていたのでスッキリしました。 もしこの記事が気に入りましたらTwitterやってますのでフォローをお願いします。@nade_nadegata //

teratail.com まえから運営会社のレバレジーズの勉強会などには参加させてもらっており、サイトの存在は知っていたがAndroidやObjectiveCのときにはあまり良い回答がないな〜。と思い敬遠していたreratailだが、PythonやJavaScriptで迷ったときにはteratail…

Pythonを使ったスクレイピング結果をGoogleSpreadSheetに入力したいな〜。と思いいろいろと調べていたら良い記事が出てきた。 まずは初期設定についてはこちら。Google Cloud Platformを利用するらしい。tanuhack.com実際にスクレイピング結果を入力するコー…

Beautifulsoupeを使って特定タグの中の情報を取得するコードを書きます。 import requests # urlを読み込むためrequestsをインポート from bs4 import BeautifulSoup # htmlを読み込むためBeautifulSoupをインポート URL = 'https://xxx.com' #URL入力 somet…

qiita.com 私はC#とかからプログラミングを始めたので感覚の問題だと思うのですが、Pythonではif文の条件や処理範囲をカッコで囲まないためインデントが重要になります。 これが意外と面倒なので注意しましょう。

lxmlを使ってスクレイピングをしていると必ず出てくる import urllib2 import lxml.html html = urllib2.urlopen('http://www.cafe-gentle.jp/').read() # html 取得 root = lxml.html.fromstring(html)の root = lxml.html.fromstring(html) の意味がわから…

github.com これを利用したらかわいこちゃんの写真をbotでアップロードできるな〜とか思っていましたがこのpythonではuploadには対応しておらず、「いいね」やコメントしかできなかった。 これは困ったぞ。

seleniumで新しいタブを開いたり、そのタブでURLを開いたり、閉じたりしてみました。 katsulog.techkatsulog.tech こちらのブログが参考になります。 簡単にコードを書くとこんな感じです。 driver.execute_script("window.open()") #make new tab driver.sw…

いろいろ試して思ったのですがurllibが現在urllib3に変更となり。それに伴って urllib.request.urlretrieve(my_url, 'my_filename') こんな感じで画像を保存することができなくなりました。代替案はstackoverflow.comこちらにwimさんが記載してくれています…