News APIを使って巷のニュースを拾い上げてみた。

## はじめに
さて、最後の更新からおよそ10ヶ月経ってしまいました。毎週更新が目標だったのに。。というわけで、今後は毎月更新に下方修正してこれからも頑張りたいと思います（？）。さて復活第一弾はNews APIを使ってみた、です。RSSリーダーのような機能を自作のWebアプリにも搭載してみたいなと思い、試しに使ってみたのでここでまとめてみます。

## News APIとは
[<strong>「News API」</strong>](https://newsapi.org/)とは世界中のニュースをかき集めたサービスで、利用者はREST APIでニュースを取得できます。[無償版・有償版](https://newsapi.org/pricing)があり、HPを確認する限りでは有償版は企業でも利用されているようですが、記事更新が24時間遅れ、100リクエスト/日などの制約に目を瞑れば十分有用だと思うので今回は無償版を利用させていただきましょう。また、今回Pythonを使用してAPIを叩きますが、その他にもNode.js, Ruby, PHP, Java, C#が利用できるようです。利用までの大まかな流れは以下の通りです。めっちゃ簡単です。イージーピージー。
1. 利用登録・APIキー取得
2. APIを叩く

## 1. 利用登録・APIキー取得
一般的に、サービス利用時に求められる情報の提供さえすればAPIキーは取得可能なので、ここは省きます。

## 2. APIを叩く
News APIには<strong>「Everything」</strong>`/v2/everything`と<strong>「Top headlines」</strong>`/v2/top-headlines`の2種類のエンドポイントがありますが、今回は「Everything」を使います。それぞれパラメータが異なるので注意してください。

<script src="https://gitlab.com/-/snippets/3746930.js"></script>
<details>
<summary>「一行解説」を見る</summary>
<ol type="1">
<li>(l.1-3) <a href="https://newsapi.org/docs/client-libraries/python">公式ドキュメント</a>を確認すると<code>newsapi-python</code>というライブラリが使われているようですが、PythonでのHTTP通信によく使われる<code>requests</code>で代用可能なので今回はこちらを使います。その他、取得したデータを整形するための<code>pandas</code>もインポートします。
<li>(l.5-12) HTTPリクエスト時のパラメータを設定しています。<code>apiKey</code>はNews API登録時に取得したものです。また今回のニュース検索では検索クエリとして<code>q</code>、検索対象言語として<code>language</code>、検索条件として<code>sortBy</code>、期間指定として<code>from</code>と<code>to</code>を設定しています。<a href="https://newsapi.org/docs/endpoints/everything">検査対象言語</a>としては残念ながら日本語は設定できませんが、英語をはじめいくつかの言語が設定できるようです。デフォルトでは言語に関係なく返されますが、今回はフランス語（<code>fr</code>）を設定してみました。検索条件には<code>popularity</code>を設定しており、閲覧数の多いソース・出版社からの記事が優先されます。最後に、期間指定を指定しました。</li>
<li>(l.13-15) URLにはAPIのエンドポイントを、<code>get()</code>メソッド内にパラメーター（<code>params</code>）と一緒に設定します。レスポンスは<code>json()</code>メソッドを利用しJSON形式としてパースします。</li>
<li>(l.17) 最後にJSON形式のままでは利用しづらいため、DataFrame形式に変換しましょう。実際の記事データは、<code>articles</code>という配列の中に格納されているので、この部分だけ抜き出しますが、今回はJSON形式からの変換となるため、<code>pd.DataFrame()</code>メソッドではなく<code>json_normalize()</code>メソッドを利用します。</li>
</details>

## まとめ
今回はあえてフランス語での検索をしてみましたが、日本語のキーワードを入力すれば日本語の記事が返ってきます。しかし前述の通り日本語指定検索は非対応のため、一部中国語の記事が返されてしまいました。その後正規表現ライブラリを利用すればできなくはないですが、使いこなすには色々と工夫が必要そうです。

News APIでニュースを取得する。

Django REST Frameworkをバックエンドに、Next.js+MUIをフロントエンドにして、Markdown形式で記事を投稿するブログを作成しました。【Part 3】

ブログ作成についてまとめました。

Django REST Framework + Next.js (MUI) + Markdownでブログを作る【Part 3】

Django REST Frameworkをバックエンドに、Next.js+MUIをフロントエンドにして、Markdown形式で記事を投稿するブログを作成しました。【Part 2】

Django REST Framework + Next.js (MUI) + Markdownでブログを作る【Part 2】

Django REST Frameworkをバックエンドに、Next.js+MUIをフロントエンドにして、Markdown形式で記事を投稿するブログを作成しました。【Part 1】

Django REST Framework + Next.js (MUI) + Markdownでブログを作る【Part 1】

Googleアナリティクスに蓄積されたデータをPythonで取得してみました。

## はじめに
Googleアナリティクスって使ったことがある人なら分かると思いますが、情報量えげつないですよね（語彙力）。ちょっと情報取得できればと思ってもどこを見たら良いのか分からず、最初はダッシュボードを使いこなすことさえままならないと思います。そんな中個人的には他のツールから取得したデータと組み合わせて別途ダッシュボードを作成したいなと思っていたところでして、調べてみるとPythonからAPIを叩けるんですね。実際に使ってみたので設定方法含めまとめます。なお、以下略称です。
* Googleアナリティクス（以下、GA）：総称
* Google Analytics 4（以下、GA4）：~最新バージョン~現行バージョン
* Universal Analytics（以下、UA）：~現行バージョン~旧バージョン

## 利用するツール
PythonでAPIを叩くために今回は[Google Analytics Data API](https://developers.google.com/analytics/devguides/reporting/data/v1/quickstart-client-libraries?hl=ja)というものを使います。似たライブラリに[Google Analytics Reporting API v4](https://developers.google.com/analytics/devguides/reporting/core/v4?hl=ja)というものがありますが、ドキュメントに記載の通りこちらはUAのみ対応（GA4非対応）のため、今回は利用しません。v4とか記載があるからGA4対応かと勘違いしてしまいますよね。そのUAは2023年7月1日をもって廃止と~なります~ました。お世話になりました。

## API利用
それではAPIを使うための設定をしていきましょう。以下大きく2ステップとなります。
### GA側の設定（1/2）
#### Google Analytics Data API設定
* はじめに[Google Analytics Data API](https://developers.google.com/analytics/devguides/reporting/data/v1/quickstart-client-libraries?hl=en)のページからStep1.の<strong><i>Enable the Google Analytics Data API v1</i></strong>ボタンをクリックするとダイヤログが開かれるので、ここでGoogle Cloud Platform（以下、GCP）上にプロジェクトを新しく作成します。ここでの入力項目はプロジェクト名のみです。<strong><i>Next</i></strong>ボタンから作成後、プロジェクト作成と同時に自動でJSONファイルがダウンロードされます。
#### GA4の設定
* 次にGA4にサービスアカウントを追加します。上でダウンロードしたJSONファイルの中身を確認すると、"client_email"という値が追加されていると思うので、こちらをGA4に追加します。<img src="https://res.cloudinary.com/hvz4uox2m/image/upload/v1/media/img/ga4-data-python1_tg3him" /><img src="https://res.cloudinary.com/hvz4uox2m/image/upload/v1/media/img/ga4-data-python2_pgyblg" />
* 上の画像の通り、GA4の対象のプロパティを開いた状態で、[管理] → [プロパティのアクセス管理] → [+ボタン（新規ユーザーにアクセス権限を追加）]（画面右側モーダルの右上あたり）→ [ユーザーを追加] から、<strong><i>client_email</i></strong>キーに対応する値を<strong><i>メールアドレス</i></strong>欄に追加します。同時に<strong><i>直接の役割とデータ制限</i></strong>で権限の選択を求められますが、ここでは閲覧者（<strong><i>Read & Analyze</i></strong>）以上の権限を付与する必要があります。

### ローカル側、Python設定（2/2）
* 続いて、クライアント側でライブラリをインストールします。[Python client library installation guide](https://github.com/googleapis/python-analytics-data#installation)の通り、仮想環境を作成し、その中で
```
pip install google-analytics-data
```
で対象のライブラリをインストールしておきます。
* [公式サイト](https://developers.google.com/analytics/devguides/reporting/data/v1/quickstart-client-libraries?hl=en)のコードを一部改変させていただき、地域別に累計ユーザー数を取得してみましょう。ここから1行解説です。
<script src="https://gitlab.com/-/snippets/2567496.js"></script>
1. (l.2~10)ライブラリ等から必要モジュールのインポート。
2. (l.12~13)別途、.envファイルを作成する。Google Analytics Data API設定時にダウンロードしたJSONファイルから認証情報を設定し、.envファイルに格納。`load_dotenv()`メソッドで環境変数読み込みます。
3. (l.15)対象のGA4のプロパティIDを取得し設定します。
4. (l.17)プロパティIDを引数にGA4情報を抽出する関数を作成します。
5. (l.19)今回は`BetaAnalyticsDataClient`クラスを利用します。`BetaAnalyticsDataClient`では、`runReport`メソッド、`getMetadata`メソッド、`checkCompatibility`メソッド等が提供されています。その中でも今回は`runReport`メソッドを使ってみましょう。他にもいくつかメソッドは提供されていますが、上記3メソッドはそれぞれ以下のような役割を果たします。
    * `runReport()`メソッド：GA4データの取得において最も一般的・汎用的なメソッドです。以下の通りコード例を示すので参考にしてみてください。
    * `getMetadata()`メソッド：データスキーマ・リファレンス情報を取得するためのメソッドです。利用可能なmetrics, dimensions等の詳細情報を取得できます。
    * `checkCompatibility()`メソッド：指定したクエリとパラメータにおいてAPIとの互換性確認するためのメソッドです。
6. (l.21~26)`RunReportRequest()`でリクエストを作成します。22行目〜25行目のパラメータについての説明は以下の通りです。`dimentions`と`metrics`の違いは分かりづらいですが、[Web担当者Forumさんの記事](https://webtan.impress.co.jp/e/2012/06/07/12921)が分かりやすいです。
    * `property `：上で説明したプロパティIDです。
    * `dimensions`：データの属性を指します。これに基づいてグループ化（ソート）ができます。
    * `metrics`：データの指標を指します。集計値・数値になります。
    * `date_ranges`：データを取得する期間です。開始日・終了日を一緒に指定します。
7. (l.27)`RunReportRequest()`で作成したリクエストをrunReport()メソッドに渡すことで、任意のGA4データを取得することができます。
8. (l.30~31)"dimention-metric"で対にして結果を出力します。
9. (l.37~40)結果です。

## まとめ
今回は[`runReport`](https://developers.google.com/analytics/devguides/reporting/data/v1/rest/v1beta/properties/runReport)というメソッドを使いましたが、中でもdimensions, metrics以外にも指定可能なパラメータについては[公式サイト](https://developers.google.com/analytics/devguides/reporting/data/v1/api-schema)に一覧があるので、逐一参照しつつ使いましょう。また[<strong>「GA4 Dimensions & Metrics Explorer」</strong>](https://ga-dev-tools.google/ga4/dimensions-metrics-explorer/)というツールを使えば、利用可能な`dimentions`と`metrics`の組み合わせを確認することができ、さらに、データのレスポンス形式についても事前に確認することができます。

### 参考
* [Google Analytics Data API](https://developers.google.com/analytics/devguides/reporting/data/v1/quickstart-client-libraries?hl=en)
* [Google Analytics Reporting API v4](https://developers.google.com/analytics/devguides/reporting/core/v4?hl=en)
* [googleapis/python-analytics-data - GitHub](https://github.com/googleapis/python-analytics-data#installation)
* [Web担当者Forum - Googleアナリティクスのディメンションと指標（メトリクス）の違い／意味を理解［第9回］](https://webtan.impress.co.jp/e/2012/06/07/12921)

GA4のデータをPythonで取得する。

DRF環境構築時の基本的なディレクトリ構成について詳細解説しました。

## はじめに
[Django REST Framework（以降、DRF）の環境構築](/blogs/drf-setup)にてDjangoプロジェクトを作成しましたが、いきなり膨大な量のディレクトリ・ファイルができました。全ファイルを知っておかないといけないことはありませんが、「よく分からんけど動いてはる」のは気持ち悪いじゃないですか。ということでデフォルトの構成についてまとめてみました。

## ディレクトリ構成
こんな感じになっているはずです。では、「1行解説」はじめます。
<br/>
<script src="https://gitlab.com/-/snippets/2565795.js"></script>

### ルートディレクトリおよび全体に影響するディレクトリやファイル
DjangoプロジェクトやDjangoアプリケーション以外のものをここではまとめています。
* <strong>`drf_sample/`</strong>(l.1)：
    * ルートディレクトリです。環境構築時にプロジェクト・アプリケーションを格納する箱として任意の名前を付けて用意します。
* <strong>`drf_virtual/`</strong>(l.2)：
    * 当該API専用に使用する仮想環境です。`drf_sample`作成時にデフォルトで生成されるものではありませんが、ルートディレクトリ内に作成することもできます。
* <strong>`manage.py`</strong>(l.27)：
    * Djangoプロジェクトにおいて、ローカルサーバーの起動、マイグレーションファイルの作成等、様々なコマンドを用意しているファイルです。
* <strong>`db.sqlite3`</strong>(l.28)：
    * アプリケーションに組み込まれる形で利用される簡易的なデータベースです。Djangoではデフォルトで利用可能で、設定しない限りはこのデータベースに情報が格納されます。

### Djangoプロジェクト
* <strong>`sample_project/`</strong>(l.16)：
    * `$ django-admin startproject`コマンドでDjangoプロジェクトディレクトリおよびその傘下のファイルを作成できます。自動で生成されるファイルは以下の通りです。
* <strong>`__init__.py`</strong>(l.17)：
    * このディレクトリ（`sample_project/`）がPythonのパッケージであることをPythonに認識させるためのファイルです。空のファイルで使用しません。
* <strong>`__pycache__/`</strong>(l.18)：
    * Pythonファイル実行時にコンパイルされたこのディレクトリ内のモジュールが、それぞれ`ファイル名.cpython-39.pyc`という形式でこのディレクトリ内に生成されていきます。プログラムが変更されると書き換えられるもので、文字通りキャッシュなので（消しても問題ありませんが）残しておくと実行が速くなります。
* <strong>`asgi.py`</strong>(l.23)：
    * asgiとはAsynchronous Server Gateway Interfaceの略で、Web socket等のプロトコルをサポートし、非同期通信ができるようになります。そのエンドポイントとして使用されるファイルです。
* <strong>`settings.py`</strong>(l.24)：
    * Djangoプロジェクト全体を設定するファイルです。データベース設定、認証系の設定等が可能です。
* <strong>`urls.py`</strong>(l.25)：
    * HTTPリクエストに対して、Djangoアプリケーション内のどのViewを表示するかルーティングするためのファイルです。
* <strong>`wsgi.py`</strong>(l.26)：
    * wsgiとはWeb Server Gateway Interfaceの略で、アプリケーションがWebサーバと通信するための標準のインタフェースです。そのエンドポイントとして使用されるファイルです。

### Djangoアプリケーション
* <strong>`sample_app/`</strong>(l.7)：
    * `$ django-admin startapp`コマンドでDjangoアプリケーションディレクトリおよびそれにぶら下がるファイルを作成できます。アプリケーションではデータベース定義、Viewの作成等ができます。
* <strong>`migrations/`</strong>(l.8)：
    * `$ python3 manage.py makemigrations`を実行し生成されたマイグレーションファイルが保管されるディレクトリです。
* <strong>`__init__.py`</strong>(l.10)：
    * このディレクトリ（`sample_app/`）がPythonのパッケージであることをPythonに認識させるためのファイルです。空のファイルです。
* <strong>`admin.py`</strong>(l.11)：
    * adminサイトを管理するためのファイルです。実際にデータを入力するために、`models.py`で作成したクラスをadminサイトに表示することができます。
* <strong>`apps.py`</strong>(l.12)：
    * 作成したDjangoアプリケーションの場所をDjangoプロジェクトに認識させるために設定ファイルです。※通常、`startapp`時に自動で生成されるため設定は不要です。
* <strong>`models.py`</strong>(l.13)：
    * データベースを定義するためのファイルです。データベースフィールドをまとめたモデルを作成することで、データベースにどのような情報をどのような形式で書き込むことができるか定義します。
* <strong>`tests.py`</strong>(l.14)：
    * Djangoアプリケーションにおいて、テストを実行する際にコードを記述するファイルです。
* <strong>`views.py`</strong>(l.15)：
    * HTTPリクエストに対し、表示する情報を記述するためのファイルです。

## まとめ・参考
ここまで、前記事で環境構築時に自動（+一部手動）で生成されたディレクトリおよびファイルについて、それぞれの役割を解説してきました。DRFの場合、この他にもSerializerというものが必要になるのですが、それは次の記事でまとめます。

Django REST Frameworkのディレクトリ構成

Django REST Frameworkを始める際の環境構築についてまとめました。

## はじめに
Web開発をする際のフレームワークは数多ありますが、今回はPythonのWebフレームワークであるDjangoをバックエンドに使用した方法についてまとめました。なお、本記事はDjango初学者向けとなります。

## 開発環境
* macOS 10.15 Catalina
* Python 3.9.6
* Django 4.0.2
* Django REST Framework 3.13.1
* Visual Studio Code

## 環境構築
このタイミングで使用するツールはターミナルだけで、作業自体は大きく4ステップで完了するので難しくはないと思いますが、ここからは「1行解説」やっていきます。
### ディレクトリ作成（１／４）
<script src="https://gitlab.com/-/snippets/2565791.js"></script>
1. (l.1)まずはターミナルを開いてデスクトップに移動します。今回はデスクトップにプロジェクトを作成していきます。
2. (l.2)プロジェクト全体を入れる箱として、`drf_sample`を作成します。名前は何でも大丈夫です。
3. (l.3)作成した`drf_sample`に移動します。続いて仮想環境を作成しましょう。

### 仮想環境作成（２／４）
<script src="https://gitlab.com/-/snippets/2565792.js"></script>
1. (l.1~2)仮想環境を作成する前にPythonのバージョンを確認します。2行目の通りPython 3.9.6と出てきたので、パスが通っていることが確認できましたね。※Pythonが使える環境が最低限整っていることを意味します。
2. (l.3)それでは仮想環境を作成します。今回はPythonに標準で備わっている`virtualenv`を使用して、`drf_virtual`という名前の仮想環境を作成します。仮想環境の名前は何でも大丈夫です。
3. (l.4~5)作成した仮想環境に切り替えます。5行目の通り先頭に`(drf_virtual)`が表示されていたら、仮想環境に切り替わっている状態となります。今後API作成に必要なライブラリ・パッケージはこの仮想環境内にインストールしていきます。

### ライブラリ・パッケージのインストール（３／４）
<script src="https://gitlab.com/-/snippets/2565793.js"></script>
1. (l.1~5)`Django`, `django-cors-headers`, `djangorestframework`, `djangorestframework-simplejwt`, `djoser`をそれぞれ仮想環境にインストールしていきます。ここで`===x.x.x`と、バージョン指定をしてインストールしていますが、バージョン指定しなくてもインストールは可能です。ただし、互換性を考慮しないと正しいコードを書いても実行されない可能性があるので注意してください。
※互換性については、各ライブラリ・パッケージの概要、インストール・使用方法が併記された[Python Package Index（PyPI）](https://pypi.org/)で確認してみてください。
2. (l.6)インストールが完了したら`pip freeze`とすることで、`drf_virtual`内でインストール済みのライブラリ・パッケージを確認することができます。なお、`pip freeze > requirements.txt`とすると、インストール済みのライブラリ・パッケージが書き出されたファイルがルートディレクトリ直下に生成されます。

なお、以下はDjangoを除く各ライブラリ・パッケージについて一言解説です。
* [django-cors-headers](https://pypi.org/project/django-cors-headers/)：フロントエンドとのWebAPI連携を可能にするためのパッケージ。
* [djangorestframework](https://pypi.org/project/djangorestframework/)：今回の開発の肝となるライブラリです。Djangoを利用したWebAPIの開発ができる。DRFとも略される。
* [djangorestframework-simplejwt](https://pypi.org/project/djangorestframework-simplejwt/)：DRFでJWT認証を可能にするプラグインのパッケージ。
* [djoser](https://pypi.org/project/djoser/)：DRFにおいて認証周りの機能をサポートするライブラリ。


### Djangoプロジェクト作成（４／４）
<script src="https://gitlab.com/-/snippets/2565794.js"></script>
1. (l.1)最後のステップになります。まずは`sample_project`という名前のDjangoプロジェクトを作成します。プロジェクトとは今回のAPIにおける大枠となる設定等をまとめたものです。
2. (l.2)続いて`sample_app`という名前のDjangoアプリケーションを作成します。ここでいうアプリケーションとは、データベース定義や実際のAPI作成等をするディレクトリです。
3. (l.3)プロジェクトとアプリケーションを作成したので、ベースとなる構成は完成しました。必要なファイルも勝手に生成されるので楽ですね。それでは、一旦ローカルサーバーを立ち上げてみましょう。
4. (l.4~7)ローカルサーバーを立ち上げると、4行目〜7行目の通り情報が出力されます。`http://127.0.0.1:8000/`がローカルサーバーのURLです。下のような画面がブラウザで表示されれば、OKです。`CONTROL-C`でサーバーを切ることができます。ちなみに、画面上ではバージョン情報と時間はズレまくっていますが特に影響ないので放置しておきます。
<img src="https://res.cloudinary.com/hvz4uox2m/image/upload/v1/media/img/drf-setup1_cbvgnx" />

* また、現時点で、`drf_sample`のディレクトリは以下の通りになっているはずです。全体の構成および各ディレクトリ・ファイルの役割については[Django REST Frameworkのディレクトリ構成](/articles/drf-directory)の記事で説明しています。

<script src="https://gitlab.com/-/snippets/2565795.js"></script>

## まとめ・参考
お気づきだと思いますが、Pythonが使える環境であれば、DRFの環境設定は難なくできてしまいます。次の記事から実際にコードを書いていくフェーズに入ります。

### 参考
* [PyPi](https://pypi.org/)