コンテンツにスキップ

Webサイト情報取得ノード

Webサイト情報取得ノード

概要

このノードは指定されたURLにアクセスをおこない、HTMLの取得やスクリーンショットの取得が可能です。 また、form要素を指定してログイン後の画面内容を取得する事も可能です。

使い方の例

このノードはいくつかの典型的な使い方のパターンがあります。
1.サイトの確認に利用する。
  この場合に設定する必要があるのは開始URL出力プロパティです。
2.セッションを伴った動作が出来るか確認する。
  この場合に設定する必要があるのは開始URL出力プロパティに加えて入力フォーム動作が必要になります。

また、出力プロパティではスクリーンショットの取得とHTMLの取得がおこなえるので要件にあった出力を選択してください。

動画

ノード解説1

ノード解説2

設定項目

Webサイト情報取得ノード

必須 項目名 説明
開始URL 取得したいURLを指定します。変数での指定も可能です。
詳細設定を表示 押すことで詳細設定を表示します。
URLを読み込んで入力項目を分析 URLを指定したうえでこのボタンを押すと入力フォーム動作にサイトを解析した結果が表示されます。
入力フォーム動作 FORMに値を渡したい場合に利用します。
出力プロパティ 出力内容を指定します。

詳細設定部分

Webサイト情報取得ノード

項目名 説明
ブラウザ起動の待ち時間 ミリsecで指定します。
ページの読み込み待ち時間 ミリsecで指定します。
ビューポート設定 ページ幅、高さを指定します。
認証を使用 basic認証を使用します。ユーザー名、パスワードを設定します。

入力フォーム動作

URLを読み込んで入力項目を分析を押した際に表示されます。

例) 下記の画像のような形で入力フォーム動作の欄に解析したformの内容が表示されます。 Xpath(画像内の//・・・となっている箇所)の内容を確認し、入力したいFORMを確認し その上部のテキスト入力*部分に値を設定します。 画像の例ではXpathのusername、passwordの設定する値としてhoge,hogehogeを設定しています。

Webサイト情報取得ノード

入力フォーム動作の設定がされていた場合、その動作(FORMに特定の文字を入力するなど)をした結果の画面を取得する事が出来るようになります。 例えばログイン後のページの確認をしたい場合などに利用可能です。

出力プロパティ

Webサイト情報取得ノード

出力のプロパティでは上記のようにいくつかの出力パターンがあります

項目名 説明
要素内テキスト取得 取得したい要素のXpathを指定することで指定されたテキストを取得可能です。サイトの特定箇所の内容を取得したい場合に利用します。
要素JSON取得 Xpathで指定された内容をJson形式で取得します。サイトの特定箇所の内容を取得したい場合に利用します。
要素属性値取得 Xpathで指定された属性値を取得します。
HTML全文取得 コンテンツボディ全体をテキスト形式で取得します。
スクリーンショット(Buffer) サイトのスクリーンショットを取得します。バッファ形式で取得します。
スクリーンショット(Base64) サイトのスクリーンショットを取得します。base64形式で取得します。メールなどに添付する場合はこちらを利用します。

出力は複数追加する事が可能です。例えば要素内テキスト取得を複数設定し、いくつかのテキストを取得しつつ、スクリーンショット(Base64)でスクリーンショットを取得する。といった事が可能です。


サンプルフローの設定方法

下記のサンプルフローで実際に動作を試す事が可能です。

下記の灰色の枠の右上にある□をクリックするとクリップボードにコピーできるのでコピーしてください。

サンプルフロー01(ログインなし、スクリーンショット取得、テキスト要素取得)


[{"id":"d06602d7.1430f","type":"site-login","z":"bac93068.01bd1","name":"","viewwidth":800,"viewheight":600,"url":"https://www.calltracker.jp/","urlType":"str","timeout":30000,"waitfor":3000,"formactions":[],"conditions":[{"f":"element.evalInnerHtml","o":"content","ot":"msg","s":"//*[@id=\"global-article\"]/div[2]/div/h2"},{"f":"page.screenshotb64","o":"screenshot","ot":"msg"}],"x":400,"y":2900,"wires":[["625db37d.346f0c"]]},{"id":"78f78d1.4ba1574","type":"inject","z":"bac93068.01bd1","name":"","topic":"","payload":"","payloadType":"date","repeat":"","crontab":"","once":false,"onceDelay":0.1,"x":160,"y":2900,"wires":[["d06602d7.1430f"]]},{"id":"625db37d.346f0c","type":"debug","z":"bac93068.01bd1","name":"","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"true","targetType":"full","x":610,"y":2900,"wires":[]},{"id":"2f274803.e10348","type":"comment","z":"bac93068.01bd1","name":"サイトログインノードのサンプル01です。","info":"https://www.calltracker.jp/\nにアクセスし\n//*[@id=\"global-article\"]/div[2]/div/h2\nというXpathで取得出来る要素(テキスト)を取得し、\nスクリーンショットも同時に取る。\nというサンプルになります。\n\nスクリーンショットを取得する関係上、\n少しデバッグが表示されるまで時間がかかります。\n","x":200,"y":2840,"wires":[]}]

サンプルフロー02(ログインあり、テキスト要素取得)


[{"id":"7e41dc7.a5c2e24","type":"site-login","z":"bac93068.01bd1","name":"","viewwidth":800,"viewheight":600,"url":"http://3.114.76.5:3000/login","urlType":"str","timeout":30000,"waitfor":3000,"formactions":[{"f":"type","s":"//*[@id=\"flyout-search\"]","v":""},{"f":"type","s":"//*[@id=\"q\"]","v":""},{"f":"type","s":"//*[@id=\"projects-quick-search\"]","v":""},{"f":"type","s":"//*[@id=\"username\"]","v":"rsman01"},{"f":"type","s":"//*[@id=\"password\"]","v":"w3gpq49viqa8"},{"f":"click","s":"//*[@id=\"login-submit\"]"}],"conditions":[{"f":"element.evalInnerHtml","o":"loginname","ot":"msg","s":"//*[@id=\"loggedas\"]/a"}],"x":400,"y":3100,"wires":[["186a3e53.4ec482"]]},{"id":"36bdac58.b93d14","type":"inject","z":"bac93068.01bd1","name":"","topic":"","payload":"","payloadType":"date","repeat":"","crontab":"","once":false,"onceDelay":0.1,"x":160,"y":3100,"wires":[["7e41dc7.a5c2e24"]]},{"id":"186a3e53.4ec482","type":"debug","z":"bac93068.01bd1","name":"","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"true","targetType":"full","x":610,"y":3100,"wires":[]},{"id":"76c832b0.c8a77c","type":"comment","z":"bac93068.01bd1","name":"サイトログインノードのサンプル02です。","info":"http://3.114.76.5:3000/\n(redmine)にアクセスし\n\n入力フォーム動作を利用してログインをおこないます。\nログイン後の画面に表示されるログインIDをXpathで\n取得しています。\n\n少しデバッグが表示されるまで時間がかかります。\n","x":200,"y":3040,"wires":[]}]

コピーした内容(フロー)は、以下を参考に貼り付けることが出来ます。

フローの貼り付け例
※実際にコピーされるフローは上記画像とは違います。

Xpathの取得方法

一例となりますが、Google Chromeを利用して取得する方法です。

1.chromeでXpathを取得したいページを表示する。
2.取得したいテキストをドラッグして反転する。
3.右クリックをし、出て来たメニューから「検証する」をクリックする。
4.デバッグ画面が表示され、今選択していた部分にフォーカスが当たっていることを確認する。
5.上記状態で、デバッグ画面内の該当テキスト部分を右クリックし「Copy > CopyXpath」を選択。

上記でXpathがコピーされましたので、ロボシュタインの画面に戻り、要素内テキスト取得のXpathに貼り付ければ完成です。