Pythonを最近勉強しているのでその流れでなにかWrbサービスが作れないかと思ってDjangoを触ってみた。 note.com このサイトを真似して作って見てわかったけど、正直何も理解できない(笑)Webってなんでこんなにファイル構造が複雑でファイルが多いんだ。 ちょ…

個人的にはここのサンプルが最も理解しやすかったので忘れないように書いておく mathmatical22.xyz あとはこの記事が初めてLightGBMを触った際に参考にさせてもらったブログということでこちらも記載 qiita.com こういうサンプルを上げられる人ってすごいな…

■lambdaを利用する方法 #0,1でフラグを立てる時には便利 #columnsの値が'ok'の場合colums1を1にしてそれ以外の場合には0にする df['column1'] = df['column2'].apply(lambda x: 1 if x == 'ok' else 0) ■maskを利用する方法 #条件を満たす場合のみ値を変更 #…

Anacondaに conda install lightgbm -c conda-forgeでLightGBMをインストールして機械学習を試そうと思ったらlibompがインストールされていません的なワーニングが出た。 実際に実行するのには問題はないがなんか気持ち悪いので conda install libomp -c con…

機械学習ライブラリのおすすめはLightGBMがいいらしいという話を聞いたので、LightGBM/XGBoostをAnaconda経由で簡単にインストールする方法について調べたらいい記事を見つけたので備忘録のために書いておく。 qiita.com

最近Anacondaばっかり使っていたので忘れていたが、ローカルのPython環境は、2系と3系が混じっているし、pip3 install しようとすると管理者権限がないからインストールできないといわれるし、社会人になってすぐに何も理解していない状況でpipとbrewの両方…

qiita.com ここのサイト結構便利だった！！！ またググるのもいいけど備忘録として残しておく。

qiita.comとりあえずこのQiitaの記事を写経しました。 import numpy as np # linear algebra import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv) import os for dirname, _, filenames in os.walk('/kaggle/input'): for filename in …

まず前提として以下2点を注意してください。1.geopandasを手動でインストールすることは全くおすすめしませんので手動でインストールしたい方は別の記事を探してください。2.base環境へのインストールは既存パッケージとの依存関係があるためインストールが…

MacのAnacondaでgeopandasをインストールしようとしたら結構色々とトラブったので覚書。 まずそもそもの大前提を3つ --------------------------1.Anacondaの環境では極力pipを利用せずにパッケージをインストールするようにする2.WindosにはAnaconda Pronmp…

qiita.com 上のブログに書いてあったが csvに、・ハシゴダカ "髙"・タチサキ "崎"等の、windows拡張文字列が混ざっている時には、文字コードをcp932としてやる必要があります。 encoding='cp932' とのことでした。

文字通りNumpyとPandasは異なるもの。 Numpy：行列 Pandas：テータフレーム(データベースに近い) 扱うデータは違ってもこれは結構な違いで、カラム名などの概念の有無などが異なるので結構重要。

題名の通りだけど、結局データを見てそれをどううまく使うかと言うのを考えることが非常に大切で、ここができないとコードがかけても意味がない(過学習するだけ)ということがわかった。 ということでデータを見たい形で見ることが結構重要なので参考になるブ…

最小二乗法で出た過学習を抑えるための手法。 qiita.com 上のQIiitaのサンプルコードの説明はわかりやすかった。 qiita.com こっちは原理について言及があってわかりやすかった。 neuro-educator.com betashort-lab.com ここらへんもわかりやすい。 最終的に…

nade-nadegata.hatenablog.jp 過去にPythonでCSVを扱っていたら文字化けで色々と悩んだという話を書きましたが、色々と面倒だったのでPandas使っちゃえばいいじゃん。 と思って実際にやってみたという話です。 Pandasの大体の使い方は - 1.DataFrameを作る 2…

qiita.com こちらの記事を元にGoogleドライブに作成したCSVファイルをアップロードして友達と共有できるようにしてみた。以下がざっくりとした流れです。 - 1.「google-api-python-client」と「PyDrive」をインストール 2.Google Developers Consoleにアクセ…

ちょっと色々と試してみたい事がありメルカリのスクレイピングをBeautifulSoup を使ってやってみました。 seleniumを利用する方法も考えましたがやはりブラウザを開いて色々とするのは時間の無駄なのでBeautifulSoupを利用しています。完全に今回はこちらの…

PythonでCSVに書き出すときにエクセルで開くと文字化けするのでこちらの記事を参考に色々と試行錯誤したのですが、最終的に消耗して終わった話です。 akiyoko.hatenablog.jp何故か一文字ずつセルに格納される with open('utf_16_excel_tab.csv', 'w', newlin…

1.ファイルパスに日本語が含まれていると読み込みしてくれないことがある 2.文字コードは指定しないと読み込んでくれないことがある 例：survey_df = pd.read_csv('./data.csv', encoding='sjis') 結構面倒だけど注意が必要

pip installでパッケージをインストールする際に後ろに --userをつけないとインストールできなくなった。 しかも pip show [パッケージ名] コマンドでライブラリのインストール先を調べたところ、昔インストールしたライブラリは /usr/local/lib/python3.7/s…

employment.en-japan.com こんな記事を見てPythonってこうやって書いていたな〜と思ったりスクレイピングってルールも知らずに適当にやってたな〜ということを思った。 まぁなんにしろやっぱりスクレイピングはPyhtonとrequestsライブラリ、beautifulsoup4ラ…

qiita.com こちらの記事の真似をしてLINbotを作ってみた。 あまり理解はできていないが、Lambdaを使ってみたかったというのが理由だったためとりあえず満足。 AWS Lanbdaに加えてAWS API Gatewayに関してはもう少し理解したいなと思いました。

pipでインストールすると過去と異なるディレクトリにライブラリがインストールされるようになったので同じディレクトリにインストールする方法を調べた。 hacknote.jp ①pip listでインストールされているパッケージ名を調べる ②pip show [パッケージ名]で既…

ちょっと興味が出たのでやってみたシリーズ コードは以下の通り #!/usr/bin/env python # coding:utf-8 import smtplib from email.mime.text import MIMEText from email.header import Header from email.utils import formatdate FROM_ADDR = "送信元アド…

nade-nadegata.hatenablog.jpこちらの記事でロリポップでpipを利用してパッケージをインストーする場合には python -m pip install beautifulsoup4 --userとすれば良いということを書きましたが、そもそも「Python -m」ってなんなんだ？と思ってちょっとだけ…

akamist.com こちらのサイトにあるように # sshから対話的に実行した時の出力 /usr/local/bin/python # cronから実行した時の出力 /usr/bin/python SSHとCRONでは利用するPythonが異なるということで #!/bin/bash # # cron script # /usr/local/bin/python t…

nade-nadegata.hatenablog.jp この記事でロリポップでpipパッケージを使うPythonプログラムを動かす際にはローカルで一旦特定フォルダにインストールしてそれをアップしてパスを通すという方法を書いたけど、そもそも以下のコードで普通にpipが使えることが…

akamist.com こちらのサイトを参考にローカルにディレクトリを作りそれのパスをpythonのコードに書いて実行するという方法を試してみた。 以下が簡単な流れ mkdir vendor pip install requests --target ./vendor pip install beautifulsoup4 --target ./ven…

---------------------pip install lxml -t ./folder---------------------これでインストールしたらもちろん最新バージョンしかインストールできなくて ---------------------pip install lxml==3.4.0 -t ./folder--------------------- とかしてもずっとエ…

akamist.com この記事を参考に mkdir vendor pip install requests --target ./vendor pip install beautifulsoup4 --target ./vendor これを実行してみたけどフォルダ作成以外はエラーが出て全くインストールできないので sudo をつけてスーパーユーザーで…