FileMaker + Google ChromeでWEBスクレイピング!｜Web Scraping With Filemaker

web scraping amazon

FileMaker  + ScriptMakerPS + Powershell + Selenium + Google Chrome

https://youtu.be/NKe8X6aZe2I

FileMaker  から Google Chrome を操作。


動作検証
OS：Windows 10 64bit
FileMaker Pro 14 32bit｜64bit
Powershell 5.0
Selenium 2.53.1.0
ChromeDriver 2.26(20161217現在)
ScriptMakerPS (FileMakerのフィールドに記述した「PowerShell」を実行し、戻り値を取得。)


OS：Windows 7 32bit
FileMaker Pro 14 32bit
Powershell 4
Selenium 2.53.1.0
ChromeDriver
ScriptMakerPS




Seleniumの準備
以下からダウンロード。
http://www.seleniumhq.org/download/
Previous Releases をクリック。

http://selenium-release.storage.googleapis.com/index.html
「2.53」をクリック。(2016.8.11現在)

「selenium-dotnet-2.53.1.zip」をダウンロード。(2016.8.11現在)

Google Chromeの操作のために「ChromeDriver - WebDriver for Chrome」が必要です。
以下からダウンロード。
https://sites.google.com/a/chromium.org/chromedriver/downloads

chromedriver_win32.zip をダウンロード。(2016.8.11現在)

Cドライブの直下に「WebDriver」ファルダ、その下に「selenium」フォルダを作成。
「selenium-dotnet-2.53.1.zip」を解凍し、内容を保存。

C:\WEBDRIVER
└─selenium

    │  WebDriver.chm

    ├─net35

    └─net40

上で作成した「WebDriver」ファルダの下に「chromedriver_win32」フォルダを作成。

「chromedriver_win32.zip」を解凍し、中の「chromedriver.exe」を保存。

C:\WEBDRIVER

├─chromedriver_win32

│      chromedriver.exe

※保存場所は、任意ですが、ここでは、上記のようにしています。あとの説明では、上記に各ファイルがあるものとして進めます。

※重要

「セキュリティ：ブロックの解除」の確認。

「C:\WebDriver\selenium\net40」フォルダを開き、すべてのファイルの「ブロックの解除」を行ってください。

今回は、「net40」ファルダの方を使用します。

「C:\WebDriver\chromedriver_win32」フォルダ内の「chromedriver.exe」も同様に「ブロックの解除」を行ってください。

ここまでで、Seleniumの準備は、完了です。

動作確認して見ましょう。

「Windows PowerShell ISE」または、「Windows PowerShell」を起動します。（Windows 7以降では、標準でインストールされています。）

以下のコードを実行し、Google Chrome が起動し、Amazon のページが表示されれば、OKです。

Powershellスクリプト：

Add-Type -Path "C:\WebDriver\selenium\net40\WebDriver.dll" ;

Add-Type -Path "C:\WebDriver\selenium\net40\WebDriver.Support.dll" ;

$chromedriver_path = "C:\WebDriver\chromedriver_win32\" ;

$driver = New-Object OpenQA.Selenium.Chrome.ChromeDriver ($chromedriver_path);

$driver.Navigate().GoToUrl("https://www.amazon.co.jp/");

FileMaker プラグイン ScriptMakerPS の設定

FileMaker 12｜13｜14(32bit)｜15(32bit)で ScriptMakerPS を使う場合。

Microsoft Visual C++ 2010 再頒布可能パッケージ (x86) をインストールして下さい。
http://www.microsoft.com/ja-jp/download/details.aspx?id=5555

Microsoft .NET Framework 4 以降が必要です。(Windows 7 の場合)
http://www.microsoft.com/ja-jp/download/details.aspx?id=17851
※Windows 8 の場合は、.NET Framework 4.5がプレインストールなので必要ありません。
※Windows 10 の場合は、.NET Framework 4.6がプレインストールなので必要ありません。


Powershell のバージョンの確認。(Windows 7 の場合)

※Windows 8 以降の場合は、この作業は、必要ありません。
プレインストール
※Windows 8 ｜Windows PowerShell 3.0
※Windows 8.1 ｜Windows PowerShell 4.0
※Windows 10 ｜Windows PowerShell 5.0

Powershell を起動。

$PSVersionTable.PSVersion.Major
を入力。(上記をコピーして、右クリック貼り付け)

「3」以降が、返ればOK。

「2」以前の場合は、PowerShell 3以降をインストールしてください。

PowerShell3.0
http://www.microsoft.com/en-us/download/details.aspx?id=34595
64-bit versions: Windows6.1-KB2506143-x64.msu
32-bit versions: Windows6.1-KB2506143-x86.msu
※
FileMaker 12｜13｜14(32bit)｜15(32bit)、ScriptMakerPS(32bit)で使用すいる場合、
32-bit versions: Windows6.1-KB2506143-x86.msu。
FileMaker 14(64bit)｜15(654bit)、ScriptMakerPS(64bit)で使用すいる場合、
64-bit versions: Windows6.1-KB2506143-x64.msu が必要です。
ややこしいので、両方インストールしても問題なし。(OSが64bitの場合)



「ScriptMakerPS.fmx」をダウンロード。
FileMaker 12｜13｜14(32bit)｜15(32bit)の場合は、以下。
https://sites.google.com/site/scriptmakerps/download-32bit
ファイル名：ScriptMakerPS_BETA22_32bit.zip(2016.8.14現在)

「ScriptMakerPS.fmx」を以下、「Extensions」ホルダにコピー。

C:\Program Files (x86)\FileMaker\FileMaker Pro 14 Advanced\Extensions
C:\Program Files\FileMaker\FileMaker Pro 14 Advanced\Extensions
など


FileMakerを起動。

「編集(E)」->「環境設定(F)」->プラグイン を開き、「ScriptMakerPS」にチュエックを入れて下さい。

サンプルファイル：
https://sites.google.com/site/scriptmakerps/example/filemaker-google-chromeweb-scraping