インターネットから情報を取得する場合にはほとんどにおいてHTML解析を行う必要があります。ということでRubyだと基本的にnokogiriライブラリを扱うことになります。 しかし、nokogiriではタグを指定するのにXPathを使います *1。これがいまひとつ分かりづらい。 ということで情報源を並べておきます。 ネットのなかの情報源 XPathチートシート XPathを扱う場合に最も役立つと思われる。とても便利。 XPath (XML Path Language) XPath学習の導入として最適。しかし誤記があるのが痛い。 xpath cover page - W3C 大本山の公式文書。例示も多いので意外に分かりやすい。邦訳はXMLパス言語 (XPath) スクレイピングのためのNokogiri利用メモ - それはそれ。これはこれ。 nokogiriの解説記事としてはやはりピカイチ。でも
はじめに 最近は、Ruby でスクレイピングには Nokogiri を使うようです。 。。。というか、もっと主流なのがあるのかどうが自分には全然わかりません。 とにかく、スクレイピングをしたかったので Nokogiri を使うことにしました。 で、使い方を調べると、大抵「欲しい情報の XPath を指定して...」と書いてあります。 そもそも「欲しい情報の XPath」がわからないし、便利なツールも知らないので、 「指定パターンにマッチするテキストを持つ要素の XPath を出力する」スクリプトを作りました。 名前は noko-grep.rb です。(本稿末尾に掲載) 自分にとっては、Nokogiri を使った習作であり、今後のプロトタイプにしようと思ってます。 スクリプトについて 基本的な使い方は以下です。 ローカルの Webサーバ(Apache)のトップページから 'welcome'
doc.at('//title') => 検索にヒットした最初のノード doc.at_xpath('//title') => xpathの検索にヒットした最初のノード doc.at_css('title') => cssの検索にヒットした最初のノード doc.css('title') => cssで検索。Nodeset doc.css('title')[0] => cssで検索。NodeSetから最初のノード doc.xpath('//title') => xpathで検索。最初のNode doc.xpath('//title')[0] => xpahtで検索。NodeSetから最初のNode doc.search('title') xpathかcssで検索。NodeSet doc.search('title')[0] => xpathかcssで検索。NodeSetから最初のNode ##
Rubyのライブラリ「Nokogiri」を使ってみました。 Nokogiriとは HTMLやXMLをパースするためのRubyライブラリ XPathやCSSセレクタを使ったパースが可能 公式：http://nokogiri.org/ 試した環境 ruby 1.9.3 簡単なサンプル Qiitaにあがっていたものを拝借 - Nokogiriで文字化けを防ぐ - Qiita sample.rb # -- coding: utf-8 require "open-uri" require "rubygems" require "nokogiri" # スクレイピングするURL url = "https://www.walmart.com.br/" charset = nil html = open(url) do |f| charset = f.charset f.read end doc = No
本記事は英語版ブログで2010年1月14日に公開された記事の翻訳版です。Engine Yard ブログでは少し趣向を変えて、コミュニティのメンバーによるゲスト投稿を募ることにしました。今回の (初めての!) ゲスト投稿は Aaron Patterson 氏によるものです。Ruby コミュニティの長年のメンバーである同氏は Nokogiri の作成者でもあります。Seattle.rb の開発者とともにコーディングに勤しむ一方、世界各地で行われる業界の会議やイベントに出向いて Nokogiri や他の Ruby 関連のトピックについて講演を行っています。 Nokogiri は XML ドキュメントと HTML ドキュメントを扱うためのライブラリです。Nokogiri は私の良き相棒 Mike Dalessio と一緒に開発しました。2 人とも Nokogiri を使って毎日 HTML や XM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く