驚くほど簡単な技術系健忘録

驚くほど簡単な技術系健忘録

アプリやWebサービス、RPAを作る上での健忘録を書いていきます。

2018-01-01から1年間の記事一覧

Pythonの「-m」オプションについて

nade-nadegata.hatenablog.jpこちらの記事でロリポップでpipを利用してパッケージをインストーする場合には python -m pip install beautifulsoup4 --userとすれば良いということを書きましたが、そもそも「Python -m」ってなんなんだ?と思ってちょっとだけ…

SQLを勉強するサイト

SQL

SQLを勉強するにあたってやはり実際にSQLを書かないと定着しないのではないかということを思いながら色々なサイトを巡っていたら良いサイトを見つけたので健忘録 studybyyourself » SQL学習 -分かりやすい説明とオンラインでの練習 こちらはセクションごとに…

SQLを学ぶ

SQL

studybyyourself » SQLの練習 こちらのサイトで実際にうごかしながらSQLを学んでみた。 なんとなく ---------------------------------------------------- SELECT a.ID FROM Talbe_A AS a WHERE ID='これはテストです'; ----------------------------------…

ロリポップのCRONでシェルスクリプトからPythonを動かした話し

akamist.com こちらのサイトにあるように # sshから対話的に実行した時の出力 /usr/local/bin/python # cronから実行した時の出力 /usr/bin/python SSHとCRONでは利用するPythonが異なるということで #!/bin/bash # # cron script # /usr/local/bin/python t…

ロリポップにPythonのモジュールをインストールする

nade-nadegata.hatenablog.jp この記事でロリポップでpipパッケージを使うPythonプログラムを動かす際にはローカルで一旦特定フォルダにインストールしてそれをアップしてパスを通すという方法を書いたけど、そもそも以下のコードで普通にpipが使えることが…

ロリポップでpipパッケージを使うpythonプログラムの実行

akamist.com こちらのサイトを参考にローカルにディレクトリを作りそれのパスをpythonのコードに書いて実行するという方法を試してみた。 以下が簡単な流れ mkdir vendor pip install requests --target ./vendor pip install beautifulsoup4 --target ./ven…

PCに過去バージョンのlxmlをインストールできた話

---------------------pip install lxml -t ./folder---------------------これでインストールしたらもちろん最新バージョンしかインストールできなくて ---------------------pip install lxml==3.4.0 -t ./folder--------------------- とかしてもずっとエ…

ロリポップでPythonを利用する

ロリポップでPythonを利用するのは結構簡単だし、シェルを書けばCRONでPythonを定期実行することができるのも確認したけど一番の問題はライブラリだったわ。。ロリポップのPythonのバージョンは現在3.4.1なんだけどローカル環境で使ってたlxmlのバージョン4…

特定のフォルダにPythonのライブラリをインストールしようとしたらエラーが出たけど解決策するまで

akamist.com この記事を参考に mkdir vendor pip install requests --target ./vendor pip install beautifulsoup4 --target ./vendor これを実行してみたけどフォルダ作成以外はエラーが出て全くインストールできないので sudo をつけてスーパーユーザーで…

cssが分からない

bootstrapを利用してホームページを作ってるんですが、CSSって難しい。 これまで使ってきた言語と結構違うな〜。と思いました。 今日学んだのはCSSで画像を表示する方法。 cly7796.net imgタグしか知らなかったわ。

Google APIには100秒単位の利用で制限があるのでSleepを使って回避した話し

nade-nadegata.hatenablog.jp こちらの記事に記載したようにスプレイピング結果をGoogleSpreadSheetに入力することでデータベースとして使ってJSONで吐き出すようにしているのですが、最近良くエラーになるなーと思っていろいろと調べたら、GoogleAPIに制限…

Beautiful Soupで.stringを使うとNoneになってしまう時の解消法

qiita.com まさにこちらの記事で解決ができました。 エラーになったりならなかったり、<title></title>タグだったらうまくいったりしていたのでスッキリしました。 もしこの記事が気に入りましたらTwitterやってますのでフォローをお願いします。@nade_nadegata //

PythonやJavaScriptで迷ったときにはteratailが結構有用

teratail.com まえから運営会社のレバレジーズの勉強会などには参加させてもらっており、サイトの存在は知っていたがAndroidやObjectiveCのときにはあまり良い回答がないな〜。と思い敬遠していたreratailだが、PythonやJavaScriptで迷ったときにはteratail…

Twitterのbotを作るときに参考にしていたサイトがにホームページを作るときにもお世話になった。

それがこちらのサイト lab.syncer.jp なんと言ってもコードや実際の動きなどが細かくまとめられており使いやすい。 lab.syncer.jp なお、今回お世話になったのはこちらの記事。 もしこの記事が気に入りましたらTwitterやってますのでフォローをお願いします…

JSONのデータを読み込んでhtmlで表示

<script> $(function(){ $.ajax({ "url":"list.json", //JSONのリンクもしくはURL "success":function(data){ // JSONデータをparseします。 var data=JSON.parse(data); // appendというmethodを使って#page_linkにulタグを生成します。 var ul=$('<ul>').appendTo($('#</ul>…

GoogleSpreadSheetのデータをJSONとして出力する

コードはこちら function getData(id, sheetName) { var sheet = SpreadsheetApp.openById(id).getSheetByName(sheetName); var rows = sheet.getDataRange().getValues(); var keys = rows.splice(0, 1)[0]; return rows.map(function(row) { var obj = {} …

javascriptを使ってappendでhtmlを作るときの注意

var url = http://hoge.com; var text = hogehoge; $('<li>').append($('<a href='+url+'>'+text+'</a>')).appendTo(ul); こんな感じでハイパーリンクを作るコードを書いていたのですが、何度やってもいくつかのハイパーリンクがうまく貼れないということが起きてました。原因は単純</li>…

一つのインスタンスで複数のドメインサイトを運用

昔趣味でAWSでWebサイトを公開していたときにやってたけどどうやってたんだっけ?ってちょっと忘れていたけどApacheで「VirtualHost」の設定をすれば実現できたわ。って思い出したので忘れないように書いておこう。 teratail.com ここに自分と同じ疑問を持っ…

Pythonのスクレイピング結果をGoogleSpredSheetに入力する

Pythonを使ったスクレイピング結果をGoogleSpreadSheetに入力したいな〜。と思いいろいろと調べていたら良い記事が出てきた。 まずは初期設定についてはこちら。Google Cloud Platformを利用するらしい。tanuhack.com実際にスクレイピング結果を入力するコー…

BeautifulSoupを使って特定タグの中の情報を取得するコードについて

Beautifulsoupeを使って特定タグの中の情報を取得するコードを書きます。 import requests # urlを読み込むためrequestsをインポート from bs4 import BeautifulSoup # htmlを読み込むためBeautifulSoupをインポート URL = 'https://xxx.com' #URL入力 somet…

Pythonでfor文などを獲得にはインデントに注意

qiita.com 私はC#とかからプログラミングを始めたので感覚の問題だと思うのですが、Pythonではif文の条件や処理範囲をカッコで囲まないためインデントが重要になります。 これが意外と面倒なので注意しましょう。

スクレイピングで取得した文字列をパースする

lxmlを使ってスクレイピングをしていると必ず出てくる import urllib2 import lxml.html html = urllib2.urlopen('http://www.cafe-gentle.jp/').read() # html 取得 root = lxml.html.fromstring(html)の root = lxml.html.fromstring(html) の意味がわから…

何気に使っていたXpathについて勉強してみた

https://qiita.com/rllllho/items/cb1187cec0fb17fc650a 適当に使ってたけど、こちらのサイトが一番わかりやすかった。

GoogleSpreadSheetでTwitterのbotを作ってみる

なにはともあれヴィンテージ株式会社さんの解説ページがめちゃくちゃわかりやすい。Twitter API 第2回 |Twitter API 第3回 |Twitter API 第4回 |あとはQiitaにも載ってました。qiita.com ということでOAuth1.0のライブラリ(1CXDCY5sqT9ph64fFwSzVtXnbjpSfWdR…

Google Chromeで簡単にCSSセレクターを取得する方法

qiita.com google chromeの開発者環境使ったらこんなに簡単だったのか。知らなかった。

美女写真が集まったのでinstagramのbot作ろうと思ったら思いっきり詰まった話

github.com これを利用したらかわいこちゃんの写真をbotでアップロードできるな〜とか思っていましたがこのpythonではuploadには対応しておらず、「いいね」やコメントしかできなかった。 これは困ったぞ。

seleniumでリンクを別タブで開く

seleniumで新しいタブを開いたり、そのタブでURLを開いたり、閉じたりしてみました。 katsulog.techkatsulog.tech こちらのブログが参考になります。 簡単にコードを書くとこんな感じです。 driver.execute_script("window.open()") #make new tab driver.sw…

pythonで画像をダウンロードするのにurllibは利用できない。

いろいろ試して思ったのですがurllibが現在urllib3に変更となり。それに伴って urllib.request.urlretrieve(my_url, 'my_filename') こんな感じで画像を保存することができなくなりました。代替案はstackoverflow.comこちらにwimさんが記載してくれています…

instagramで美女を集めたい

review-of-my-life.blogspot.com seleniumを使っていいねを押しまくる人がいたのでこれを利用して美女の画像を集めたい。 今の所xpathの指定方法を変更しないとうまく動かないのでそこを変更したりしている。 そのうち集められたらまた進捗書きます。 もしこ…

urlibをダウンロードしようとしたらエラーが出た。

バージョンの指定が誤っており、urllib3を指定すればOKということがわかった。 rongonxp.hatenablog.jp 先人の皆さんサンキュー!! もしこの記事が気に入りましたらTwitterやってますのでフォローをお願いします。@nade_nadegata //