Python　pandasで正規表現を使った新たな列の生成方法

この記事では、Pythonのライブラリであるpandasを使って、文字列から正規表現を使ってデータを抽出し、新たな列を生成する方法を詳しく解説します。

Pythonのpandasで、文字列から正規表現を使って情報を抽出し、その結果を新たな列としてデータフレームに追加する方法を教えてもらえますか？

pandasのSeriesオブジェクトのstr.extractメソッドを使って、文字列から正規表現を使って情報を抽出することができます。実際のデータとサンプルコードを使って説明しましょう。

pandasと正規表現について

正規表現とは、文字列のパターンを表現するための特殊な文字列です。正規表現を使うことで、特定のパターンに一致する文字列を検索、置換、抽出することができます。

例えば、電話番号やメールアドレスなど、特定の形式を持つ文字列を抽出する際には正規表現が非常に役立ちます。

pandasと正規表現を組み合わせることで、データフレームの中の文字列データに対して、様々なパターンマッチングや文字列操作を行うことができます。この組み合わせは、特にテキストデータを扱う際に非常に強力なツールとなります。

正規表現で文字列から情報を抽出する方法

pandasのSeriesオブジェクトには、文字列操作を行うための str アクセサが用意されています。これを使うことで、各要素に対する文字列操作を一括で行うことができます。また、 str アクセサの中には正規表現を使ったメソッドも多数用意されています。

ここでは、その中でも特に文字列から情報を抽出するのに使われる str.extract メソッドについて解説します。

str.extract メソッドは、正規表現にマッチする部分を抽出します。正規表現のパターンはPythonの文字列として引数に渡します。このとき、括弧 () を使ってグループ化すると、その部分だけを抽出することができます。

例えば、次のように使うことができます。

df['column'].str.extract(r'(\\d+)')

このコードは、 ‘column’ 列の各要素から、一つ以上の数字を含む部分（ \\d+ ）を抽出します。結果は新たなSeriesオブジェクトとして返されます。

なお、正規表現のパターンには多くの特殊文字やメタ文字が用意されており、これらを組み合わせることで様々な文字列パターンを表現することができます。例えば、 \\d は任意の数字を、 + は直前の文字が一つ以上続くことを表します。

抽出した情報を新たな列として追加する方法

pandasのDataFrameに新たな列を追加する方法は、新しい列名を指定してその値を代入するだけです。

ここで、値として指定できるのはスカラー値（単一の値）だけでなく、配列やSeriesオブジェクトなども使用できます。配列やSeriesを指定した場合、その長さは現在のDataFrameの行数と一致していなければなりません。

上述した正規表現による抽出を行った後、その結果を新たな列として追加するには次のように書きます。

df['new_column'] = df['original_column'].str.extract(r'(\\d+)')

このコードは、’original_column’ 列の各要素から数字を抽出し、その結果を ‘new_column’ という新たな列として追加しています。

このように、pandasを使うと、データフレームに対する列の追加や削除、名前の変更など、列に関する操作を簡単に行うことができます。これにより、データの整形や変換、集計といった処理が非常に効率的に行えます。

サンプルコードを使った解説

商品名とその価格が組み合わされた文字列から、価格部分を抽出し、新たな列として追加する例を考えます。

# pandasのインポート
import pandas as pd

# サンプルデータの作成
data = {
    'product': ['Apple $100', 'Banana $200', 'Cherry $300']
}
df = pd.DataFrame(data)

# 正規表現を使って価格部分を抽出
df['price'] = df['product'].str.extract(r'(\$\d+)')

print(df)

このコードは以下のことを行っています：

このコードを実行すると、以下のような結果が得られます：

     product   price
0  Apple $100  $100
1 Banana $200  $200
2 Cherry $300  $300

文字列内の全てのマッチを抽出するstr.extractallメソッドの解説

pandasの str.extract メソッドは、各文字列から最初にマッチした部分のみを抽出します。しかし、同じ文字列内にマッチする部分が複数存在する場合、それら全てを抽出したいこともあります。そのような場合には str.extractall メソッドを使用します。

str.extractall メソッドも正規表現を引数に取り、マッチした部分を抽出しますが、 str.extract と異なり、各文字列内の全てのマッチを抽出します。結果はマルチインデックスのDataFrameとして返されます。

以下に、 str.extractall メソッドを使ったサンプルコードを示します。

# pandasのインポート
import pandas as pd

# サンプルデータの作成
data = {
    'text': ['The cat sat on the mat.', 'The quick brown fox jumped over the lazy dog.']
}
df = pd.DataFrame(data)

# 正規表現を使って単語を抽出
results = df['text'].str.extractall(r'(\w+)')

print(results)

このコードは、各文から単語を抽出しています。このとき、単語は一つ以上の英字（ \w+ ）として定義しています。

str.extractall メソッドを使うことで、各文字列内の全てのマッチを抽出できるため、 str.extract メソッドよりも多くの情報を取得することが可能になります。

リスキリングでキャリアアップしてみませんか？

リスキリング(学び直し)は、経済産業省が推奨しており、

今だけ、最大７０％のキャッシュバックを受けることができます。

最大70％の給付金が出るおすすめのプログラミングスクール！

リスキリングで給付金が出るスクールを７つ紹介 ≫

国策で予算が決められているため申し込みが多い場合は早期に終了する可能性があります！

興味のある方はすぐに確認しましょう。

まとめ

Pythonのライブラリであるpandasを使って、文字列から正規表現を使ってデータを抽出し、新たな列を生成する方法を解説しました。

pandasと正規表現を組み合わせることで、データの抽出や操作が非常に容易になることが理解できました。これからは自分のデータ分析作業に活用していきたいと思います。

pandasと正規表現は、データ分析における強力なツールです。これらを駆使することで、大量のデータを効率的に処理し、必要な情報を抽出することができます。

正規表現は非常に強力なツールですが、同時に複雑なため、基本的なパターンをしっかり理解し、徐々に複雑なパターンに進んでいくことをお勧めします。