驚くほど簡単な技術系健忘録

驚くほど簡単な技術系健忘録

アプリやWebサービス、RPAを作る上での健忘録を書いていきます。

2019-01-01から1年間の記事一覧

Pythonでのcsvの取り扱いはPandasにまかせてしまおう

nade-nadegata.hatenablog.jp 過去にPythonでCSVを扱っていたら文字化けで色々と悩んだという話を書きましたが、色々と面倒だったのでPandas使っちゃえばいいじゃん。 と思って実際にやってみたという話です。 Pandasの大体の使い方は - 1.DataFrameを作る 2…

PythonでGoogleドライブにCSVをアップロードする

qiita.com こちらの記事を元にGoogleドライブに作成したCSVファイルをアップロードして友達と共有できるようにしてみた。以下がざっくりとした流れです。 - 1.「google-api-python-client」と「PyDrive」をインストール 2.Google Developers Consoleにアクセ…

メルカリのスクレイピングをしてみた【コードはほぼコピペ】

ちょっと色々と試してみたい事がありメルカリのスクレイピングをBeautifulSoup を使ってやってみました。 seleniumを利用する方法も考えましたがやはりブラウザを開いて色々とするのは時間の無駄なのでBeautifulSoupを利用しています。完全に今回はこちらの…

PythonのCSVの文字化けで消耗した話

PythonでCSVに書き出すときにエクセルで開くと文字化けするのでこちらの記事を参考に色々と試行錯誤したのですが、最終的に消耗して終わった話です。 akiyoko.hatenablog.jp何故か一文字ずつセルに格納される with open('utf_16_excel_tab.csv', 'w', newlin…

Pythonのpandasライブラリを使ってcsvを読み込むときの注意点

1.ファイルパスに日本語が含まれていると読み込みしてくれないことがある 2.文字コードは指定しないと読み込んでくれないことがある 例:survey_df = pd.read_csv('./data.csv', encoding='sjis') 結構面倒だけど注意が必要

GitHubでブランチを切ってファイルを追加してみた

nade-nadegata.hatenablog.jp これで書いたようにGitHubの設定がようやくできた。 qiita.com www.yoheim.net その後こちらの2つの記事になるようにファイルの追加もなんだかんだでできた。ざっくりとした流れいうと ------------------------------リモート…

GitHubの設定をしてみた

employment.en-japan.com こちらの記事を元にGitHubの設定をしてみたんだけど、何回やっても「リポジトリをローカルにクローン」できず【git@github.com: Permission denied (publickey).】と出てきたので、とりあえず他の方法で設定してみようと思って qiit…

pipでインストールするライブラリの場所が変わってしまった

pip installでパッケージをインストールする際に後ろに --userをつけないとインストールできなくなった。 しかも pip show [パッケージ名] コマンドでライブラリのインストール先を調べたところ、昔インストールしたライブラリは /usr/local/lib/python3.7/s…

Pythonの書き方忘れたけど適当にスクレイピングやっていたなと思った

employment.en-japan.com こんな記事を見てPythonってこうやって書いていたな〜と思ったりスクレイピングってルールも知らずに適当にやってたな〜ということを思った。 まぁなんにしろやっぱりスクレイピングはPyhtonとrequestsライブラリ、beautifulsoup4ラ…

AWSのLambdaを利用してLINEのbotを作ってみた

qiita.com こちらの記事の真似をしてLINbotを作ってみた。 あまり理解はできていないが、Lambdaを使ってみたかったというのが理由だったためとりあえず満足。 AWS Lanbdaに加えてAWS API Gatewayに関してはもう少し理解したいなと思いました。

SQLでデータベースを作ったり値を入れたり消したりする

SQL

--テーブルを作成する CREATE TABLE friends( id INTEGER, name TEXT, birthday DATE ); --データを挿入する INSERT INTO friends(id, name, birthday) VALUES (1, 'Jane Doe', '1990-05-30'); --データの内容を一部変更する UPDATE friends SET name = 'Jan…

pipでインストールすると過去と異なるディレクトリにライブラリがインストールされるようになった

pipでインストールすると過去と異なるディレクトリにライブラリがインストールされるようになったので同じディレクトリにインストールする方法を調べた。 hacknote.jp ①pip listでインストールされているパッケージ名を調べる ②pip show [パッケージ名]で既…

UiPathのInsert/Delete Columnsアクティビティのシート名 (SheetName) って何?

これは本当に困りました。この件についてほとんど記事がなかったので。最終的にわかったのはシート名はExcleを開いて 【ctrl + t】 を押してExcel側でテーブルを事前に作成する必要があるということ。 テーブルを作成すると以下のような画面になると思うので…

UiPathでSQLのSlecetのようなことを行う

Assignアクティビティを利用して DataTable2 = DataTable1.Defaultview.ToTable(false,"ヘッダ名1","ヘッダ名0","ヘッダ名3","ヘッダ名2") とすると列の順番も変更可能だし、必要な列だけ並べることも可能。ただし、存在しない列の名前を入力するともちろん…

UiPathにおけるループ内制御処理

ContinueやBreakを使いたくなったので以下のサイトを参考にしたけど、ContinueやBreakってアクティビティがそもそもあるんだね。UiPath便利だわ。 rpa-navi.com

UiPathでDataTableを扱う

■重複行の削除 データテーブル名.DefaultView.ToTable(True,”カラム名”) SQLで言うところの ------------- SELECT DISTINCT カラム名 FROM データテーブル名 ------------- ですね。 もしくは最新版のアクティビティでは「Remove Duplicate Rows」というもの…

UiPathでJavaScriptを実行する方法

UiPathでJavaScriptを実行する際には、IEを起動してからJavaScriptの実行まで少し時間を置く必要があるため、以下のようなコードになる。 function (element, input) { var test = function() { alert("test"); }; setTimeout(test, 1000); } これで無事にブ…

UiPathでエクセルのRead Range及びWrite Rangeをするときの注意

1行目から取得したい場合にはRead Rangeの際にはAdd Headerのチェックが必要 参考URL www.uipath-dojo.com そして、Add Headerのチェックを付けて取り込んだDataTableをWrite Rangeする時にはAdd Headerは必要。 参考URL www.rpahiroba.com

UiPathでAccessを利用する方法

UiPathにてAccessを利用する際には、開きたいAccessのパスが「C:\Temp\TEST.accdb」の場合にはOpen ApplicationのArgumentプロパティに “/ro ““C:\Temp\TEST.accdb””” と書き直す必要がある。 これを “C:\Temp\TEST.accdb” としてしまうとデフォルトのAccess…

UiPathのDataTableの特定列のみ抽出する方法

DataTableが以下の場合 a b c 1 2 3 りんご みかん ぶどう DataTable.DefaultView.ToTable(False,"a","c") とすると a c 1 3 りんご ぶどう となる。結構便利で、かつ利用シーンが多いと思う。 参考URL docs.microsoft.commasa49406.blogspot.com

UiPathでコマンドプロンプトを実行する方法

Activities>Available>System>Application>Open Applicationアクティビティ を利用し、 ■FileName"C:\Windows\system32\cmd.exe" ■Selector"<wnd app='cmd.exe' cls='ConsoleWindowClass' title='C:\Windows\system32\cmd.exe' />" と設定。 スクリーンショット系のクリックで設定すると、変なtitleなどが入ってしまいうまく指定ができないこ</wnd>…

UiPathを無料で使う際のOrchestraの設定について

UiPathはCommunityEditionをダウンロードすれば個人であれば無料で使える。※法人でも一定の基準を満たしていれば無料での利用は可能。 ということで家のPCにもインストールして使ってみた。 なお、インストール先は・UiPath Studio→C:¥ユーザー¥ユーザ名¥App…

SQLで忘れやすいコマンド

■テーブルの作成 CREATE TABLE celebs ( id INTEGER, name TEXT, age INTEGER); ■データの挿入 INSERT INTO celebs (id, name, age) VALUES (1, 'Justin Bieber', 22); ■列の追加 ALTER TABLE celebs ADD COLUMN twitter_handle TEXT; ■データ更新 UPDATE ce…

PythonからSMTP over SSLを使ってメールを送る

ちょっと興味が出たのでやってみたシリーズ コードは以下の通り #!/usr/bin/env python # coding:utf-8 import smtplib from email.mime.text import MIMEText from email.header import Header from email.utils import formatdate FROM_ADDR = "送信元アド…

SQL勉強でちょっと参考になった

SQL

sql.main.jp SQLを実際に書いて実行できたのでまぁまぁ良かった。