Webサイト情報取得ノード¶
概要¶
このノードは指定されたURLにアクセスをおこない、HTMLの取得やスクリーンショットの取得が可能です。 また、form要素を指定してログイン後の画面内容を取得する事も可能です。
使い方の例
このノードはいくつかの典型的な使い方のパターンがあります。
1.サイトの確認に利用する。
この場合に設定する必要があるのは開始URLと出力プロパティです。
2.セッションを伴った動作が出来るか確認する。
この場合に設定する必要があるのは開始URLと出力プロパティに加えて入力フォーム動作が必要になります。
また、出力プロパティではスクリーンショットの取得とHTMLの取得がおこなえるので要件にあった出力を選択してください。
動画¶
ノード解説1¶
ノード解説2¶
設定項目¶
必須 | 項目名 | 説明 |
---|---|---|
開始URL | 取得したいURLを指定します。変数での指定も可能です。 | |
詳細設定を表示 | 押すことで詳細設定を表示します。 | |
URLを読み込んで入力項目を分析 | URLを指定したうえでこのボタンを押すと入力フォーム動作にサイトを解析した結果が表示されます。 | |
入力フォーム動作 | FORMに値を渡したい場合に利用します。 | |
出力プロパティ | 出力内容を指定します。 |
詳細設定部分¶
項目名 | 説明 |
---|---|
ブラウザ起動の待ち時間 | ミリsecで指定します。 |
ページの読み込み待ち時間 | ミリsecで指定します。 |
ビューポート設定 | ページ幅、高さを指定します。 |
認証を使用 | basic認証を使用します。ユーザー名、パスワードを設定します。 |
入力フォーム動作¶
URLを読み込んで入力項目を分析を押した際に表示されます。
例) 下記の画像のような形で入力フォーム動作の欄に解析したformの内容が表示されます。 Xpath(画像内の//・・・となっている箇所)の内容を確認し、入力したいFORMを確認し その上部のテキスト入力*部分に値を設定します。 画像の例ではXpathのusername、passwordの設定する値としてhoge,hogehogeを設定しています。
入力フォーム動作の設定がされていた場合、その動作(FORMに特定の文字を入力するなど)をした結果の画面を取得する事が出来るようになります。 例えばログイン後のページの確認をしたい場合などに利用可能です。
出力プロパティ¶
出力のプロパティでは上記のようにいくつかの出力パターンがあります
項目名 | 説明 |
---|---|
要素内テキスト取得 | 取得したい要素のXpathを指定することで指定されたテキストを取得可能です。サイトの特定箇所の内容を取得したい場合に利用します。 |
要素JSON取得 | Xpathで指定された内容をJson形式で取得します。サイトの特定箇所の内容を取得したい場合に利用します。 |
要素属性値取得 | Xpathで指定された属性値を取得します。 |
HTML全文取得 | コンテンツボディ全体をテキスト形式で取得します。 |
スクリーンショット(Buffer) | サイトのスクリーンショットを取得します。バッファ形式で取得します。 |
スクリーンショット(Base64) | サイトのスクリーンショットを取得します。base64形式で取得します。メールなどに添付する場合はこちらを利用します。 |
出力は複数追加する事が可能です。例えば要素内テキスト取得を複数設定し、いくつかのテキストを取得しつつ、スクリーンショット(Base64)でスクリーンショットを取得する。といった事が可能です。
サンプルフローの設定方法¶
下記のサンプルフローで実際に動作を試す事が可能です。
下記の灰色の枠の右上にある□をクリックするとクリップボードにコピーできるのでコピーしてください。
サンプルフロー01(ログインなし、スクリーンショット取得、テキスト要素取得)
[{"id":"d06602d7.1430f","type":"site-login","z":"bac93068.01bd1","name":"","viewwidth":800,"viewheight":600,"url":"https://www.calltracker.jp/","urlType":"str","timeout":30000,"waitfor":3000,"formactions":[],"conditions":[{"f":"element.evalInnerHtml","o":"content","ot":"msg","s":"//*[@id=\"global-article\"]/div[2]/div/h2"},{"f":"page.screenshotb64","o":"screenshot","ot":"msg"}],"x":400,"y":2900,"wires":[["625db37d.346f0c"]]},{"id":"78f78d1.4ba1574","type":"inject","z":"bac93068.01bd1","name":"","topic":"","payload":"","payloadType":"date","repeat":"","crontab":"","once":false,"onceDelay":0.1,"x":160,"y":2900,"wires":[["d06602d7.1430f"]]},{"id":"625db37d.346f0c","type":"debug","z":"bac93068.01bd1","name":"","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"true","targetType":"full","x":610,"y":2900,"wires":[]},{"id":"2f274803.e10348","type":"comment","z":"bac93068.01bd1","name":"サイトログインノードのサンプル01です。","info":"https://www.calltracker.jp/\nにアクセスし\n//*[@id=\"global-article\"]/div[2]/div/h2\nというXpathで取得出来る要素(テキスト)を取得し、\nスクリーンショットも同時に取る。\nというサンプルになります。\n\nスクリーンショットを取得する関係上、\n少しデバッグが表示されるまで時間がかかります。\n","x":200,"y":2840,"wires":[]}]
サンプルフロー02(ログインあり、テキスト要素取得)
[{"id":"7e41dc7.a5c2e24","type":"site-login","z":"bac93068.01bd1","name":"","viewwidth":800,"viewheight":600,"url":"http://3.114.76.5:3000/login","urlType":"str","timeout":30000,"waitfor":3000,"formactions":[{"f":"type","s":"//*[@id=\"flyout-search\"]","v":""},{"f":"type","s":"//*[@id=\"q\"]","v":""},{"f":"type","s":"//*[@id=\"projects-quick-search\"]","v":""},{"f":"type","s":"//*[@id=\"username\"]","v":"rsman01"},{"f":"type","s":"//*[@id=\"password\"]","v":"w3gpq49viqa8"},{"f":"click","s":"//*[@id=\"login-submit\"]"}],"conditions":[{"f":"element.evalInnerHtml","o":"loginname","ot":"msg","s":"//*[@id=\"loggedas\"]/a"}],"x":400,"y":3100,"wires":[["186a3e53.4ec482"]]},{"id":"36bdac58.b93d14","type":"inject","z":"bac93068.01bd1","name":"","topic":"","payload":"","payloadType":"date","repeat":"","crontab":"","once":false,"onceDelay":0.1,"x":160,"y":3100,"wires":[["7e41dc7.a5c2e24"]]},{"id":"186a3e53.4ec482","type":"debug","z":"bac93068.01bd1","name":"","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"true","targetType":"full","x":610,"y":3100,"wires":[]},{"id":"76c832b0.c8a77c","type":"comment","z":"bac93068.01bd1","name":"サイトログインノードのサンプル02です。","info":"http://3.114.76.5:3000/\n(redmine)にアクセスし\n\n入力フォーム動作を利用してログインをおこないます。\nログイン後の画面に表示されるログインIDをXpathで\n取得しています。\n\n少しデバッグが表示されるまで時間がかかります。\n","x":200,"y":3040,"wires":[]}]
コピーした内容(フロー)は、以下を参考に貼り付けることが出来ます。
フローの貼り付け例
Xpathの取得方法
一例となりますが、Google Chromeを利用して取得する方法です。
1.chromeでXpathを取得したいページを表示する。
2.取得したいテキストをドラッグして反転する。
3.右クリックをし、出て来たメニューから「検証する」をクリックする。
4.デバッグ画面が表示され、今選択していた部分にフォーカスが当たっていることを確認する。
5.上記状態で、デバッグ画面内の該当テキスト部分を右クリックし「Copy > CopyXpath」を選択。
上記でXpathがコピーされましたので、ロボシュタインの画面に戻り、要素内テキスト取得のXpathに貼り付ければ完成です。