［速習］ Puppeteer ～ヘッドレスChromeでテスト＆スクレイピング 第2章ブラウザ操作自動化の基本 ～非同期処理を扱うasync/await関数、自動化の鍵を握るPuppeteerコンポーネント 第2章では、実際にヘッドレスChromeを自動化するうえで必要となる、最新のJavaScriptの構文やPuppeteerのAPIについて解説します。 進化し続けるJavaScript PuppeteerのAPIを解説する前に、第1章の冒頭で掲載したサンプルコードを見返してみましょう。もしかすると、中にはまったく見慣れない構文が見つかったかもしれません。 const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await b
今回の目的 前回までは画像処理についていろいろと試してきました。今回からは数回に分けて、自然言語処理（Natural Language Processing）について学んでいく予定です。ここ数年、機械学習の世界においてはTransformerやGPT-x、BERTなどなど、さまざまな技術が生み出されて、自然言語処理の分野が活況を呈しています。その適用領域も翻訳、文章の要約、感情分析、チャットボットなどなど、幅広いものです。 そうした中で、取りあえず今回からは青空文庫から著作権の切れた作品を学習データとして、文章生成を行うことを目的として、自然言語処理にまつわるさまざまな要素を学んでいくつもりです。
Seleniumを使用しPythonでWebページのタイトルを取得してみます。 Seleniumモジュールは、Pythonの標準ライブラリではありませんので、事前にインストールしておく必要があります。またGoogleChromeを使用する場合は、chromedriver-binaryも必要になりますので、これも事前にインストールしておく必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■chromedriver-binaryのバージョンchromedriver-binary==87.0.4280.88.0 ■GoogleChromeのバージョン バージョン: 87.0.4280.88（Official Build） （64 ビット） ■Seleniumを使用しWebページのタイトルを
Notice: this guide will soon be (or already is) obsoleteMicrosoft is rolling out built-in GUI support in WSL. These steps will still work, but will hopefully be unnecessary. Original guide is as follows. In WSL1 you could download chromedriver.exe for Windows, put it somewhere on your Path, and then let ChromeDriver and Chrome run in Windows while Selenium (or what have you) ran in Linux. This doe
こんにちは。 初投稿になります。Web・iOSアプリエンジニアの三浦です。 エンジニアとしてある程度経験を積んで余裕ができてきたので（あとGWが予想以上に暇になったので）、せっかくだからと思いQiitaを始めてみました。 よろしくお願いします！ はじめに さて、今回はタイトルにもある通り、 Docker や docker-compose 、 puppeteer を使ったスクレイピングについての話になります。 なぜこんな内容になったかといいますと、会社でこんなやり取りがあったんです（なお、内容は脚色しています）。 （上司） < 競合分析って重要だよね…。スクレイピングとかで、検索結果からいろいろと情報欲しいな。 （僕） < そうですね〜（スクレイピングやったことないけど） （上司） < だよねだよね！まあスクレイピングくらい、Webエンジニアなら学生時代とかにもやったことあるだろうしね。じゃ
出来たって人もいるみたいだけど、自分は無理だった。 やりたいこと Selenium Webdriver は出来そうで出来なかった Selenium Server を Windows 側に立ててみたがダメだった Selenium Webdriver ではなく Puppeteer を使ってみたがダメだった そもそも WSL と Windows 間の localhost はどう関係しているのか 未検証の内容 やりたいこと Windows 側で常用している Chrome ブラウザのプロファイルを利用して、Selenium 的なツールでブラウザの自動操作を行いたい サイトへのログイン情報とかを流用したかったので、既存のプロファイルを使い回したかった ツールが Chrome を自動操作している様子をリアルタイムに確認したかった つまりヘッドレスで動くのではなく、ヘッドありで動かしたかった それでいて、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く