---
title: StreetCLIPはMapillary画像の都道府県を当てられるか
tags:  #streetclip #mapillary #foss4g  
author: [bannyaaa](https://convert.docswell.com/user/bannyaaa)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/9E2DZMWVER.jpg?width=480
description: 2024/08/07 FOSS4G LT会 #001 https://osgeojp.connpass.com/event/324363/
published: August 16, 24
canonical: https://convert.docswell.com/s/bannyaaa/K1RJ3R-20240807-foss4g-lt
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/9E2DZMWVER.jpg)

StreetCLIPはMapillary画像の
都道府県を当てられるか
2024/8/7
bannyaaa


# Page. 2

![Page Image](https://bcdn.docswell.com/page/D7Y2RXLQ7M.jpg)

自己紹介
✓SIerでおしごと
✓地図や地理空間情報は趣味
✓娘の抱っこしすぎで膝を痛めた


# Page. 3

![Page Image](https://bcdn.docswell.com/page/VEN8D142J8.jpg)

きっかけ
画像から場所を推定するAIモデルは、どの程度
当たるのか🤔


# Page. 4

![Page Image](https://bcdn.docswell.com/page/Y79KG5QD73.jpg)

StreetCLIPが使いやすそう
• 画像から国名や地域名を推定するAIモデル
• PythonのTransformersライブラリから利用できる
• ライセンスはCC BY-NC-SA (商用利用は不可)


# Page. 5

![Page Image](https://bcdn.docswell.com/page/G78RVYG5ED.jpg)

StreetCLIPをちょっと試してみる
画像
StreetCLIP
🤖
選択肢
[Tokyo, London, New York]


# Page. 6

![Page Image](https://bcdn.docswell.com/page/L7LK54G3ER.jpg)

StreetCLIPをちょっと試してみる
画像
結果(選択肢に対する確率)
StreetCLIP
🤖
選択肢
[Tokyo, London, New York]
Tokyo: 99%
London: 0%
New York: 0%


# Page. 7

![Page Image](https://bcdn.docswell.com/page/4EM23KQMEW.jpg)

問題設定


# Page. 8

![Page Image](https://bcdn.docswell.com/page/PERMQX8L79.jpg)

都道府県ごとに取得した画像の正解率を見たい
画像
都道府県ごとに画像を用意
StreetCLIP
🤖
選択肢
[Hokkaido, Aomori, Akita , …, Okinawa]


# Page. 9

![Page Image](https://bcdn.docswell.com/page/P7XV56L6JX.jpg)

画像のオープンデータといえばMapillary
緑色の点すべてがユーザーの
アップロードした画像(CC BY-SA)
出典：https://www.mapillary.com/app


# Page. 10

![Page Image](https://bcdn.docswell.com/page/37KQ61LG7D.jpg)

Mapillary APIからどのように画像を取得するか？
都道府県ポリゴンは&quot;japonyol.net&quot;から
ダウンロードして加工(島しょを削除)
Mapillaryの画像を取得する
APIはBBOXで範囲指定
→都道府県内から偏りなくまんべんなく画像を取りたい


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LJ3P6Q3575.jpg)

WebメルカトルのタイルをBBOXに使う
※zoom levelは12
→タイルをランダムに選んでMapillary APIのBBOXに設定
(Pythonのmercantile, shapelyライブラリで実現)


# Page. 12

![Page Image](https://bcdn.docswell.com/page/8JDLV94Y7G.jpg)

画像のとれないタイルをフィルタリングする


# Page. 13

![Page Image](https://bcdn.docswell.com/page/VEP2VZM2E8.jpg)

選んだタイルから画像を1つ取得する


# Page. 14

![Page Image](https://bcdn.docswell.com/page/27VDZW9X7Q.jpg)

都道府県ごとに画像を100点ずつ集めた
🤖
→StreetCLIPに画像の都道府県を判定してもらう


# Page. 15

![Page Image](https://bcdn.docswell.com/page/5JGY4DZRJL.jpg)

StreetCLIPによる判定結果


# Page. 16

![Page Image](https://bcdn.docswell.com/page/47QMG1LYEP.jpg)

都道府県ごとの正解率
(%)
正
解
率
→島根、沖縄、岐阜の他はほとんど当たっていない😅


# Page. 17

![Page Image](https://bcdn.docswell.com/page/KE4V5RDZ71.jpg)

なぜ当たらないのか？(推測)
✓都道府県全域から画像をとると郊外の割合が多め。
✓郊外の画像は、山、道路(トンネル)、木など判定の手がかりが少ないものし
か写っていない。


# Page. 18

![Page Image](https://bcdn.docswell.com/page/L713WQZDEG.jpg)

これから中身調べます。
ありがとうございました。


