Joan: /* Edició */

2020-02-26T15:44:02Z

Edició

Pàgina nova

__TOC__
=Introducció=
*https://www.openstreetmap.org/
*https://learnosm.org/en/
*http://rutesgps.joanillo.org/

L'objectiu és poder editar el mapa, per tal de contribuir a la comunitat.

Em registro a OSM: joanqc@gmail.com / jq********

La primera contribució a OSM que he fet per aprendre'n és l'article sobre els arbres monumentals de Catalunya:
*[[Arbres_Monumentals_de_Catalunya_(programaci%C3%B3_OSM)]]

=Edició=
Un cop logats, podem editar amb l'editor integrat '''iD'''. Però quan se'n sap una mica, la gent utilitza un editor com JOSM (basat en Java)

Tutorials de JOSM
*https://labs.mapbox.com/mapping/
==Instal·lació JOSM==
*https://josm.openstreetmap.de/

Instal·lo JOSM a Linux Mint:
*https://josm.openstreetmap.de/wiki/Download#Ubuntu
<pre>
$ echo deb https://josm.openstreetmap.de/apt $(lsb_release -sc) universe | sudo tee /etc/apt/sources.list.d/josm.list > /dev/null
</pre>
Download and register the public key:
<pre>
$ wget -q https://josm.openstreetmap.de/josm-apt.key -O- | sudo apt-key add -
</pre>
Now refresh your sources (you may need to install sudo apt-get install apt-transport-https)
<pre>
$ sudo apt-get update
</pre>
and install:
<pre>
# You can skip this first line if these packages were not installed before.
sudo apt-get remove josm josm-plugins

# For the tested version
sudo apt-get install josm
# for the development version
</pre>
S'instal·la bé, però el problema és que de Java tinc el openjdk
<pre>
$ josm
No valid JVM found to run JOSM

$ java -version
openjdk version "11.0.3" 2019-04-16
OpenJDK Runtime Environment (build 11.0.3+7-Ubuntu-1ubuntu218.04.1)
OpenJDK 64-Bit Server VM (build 11.0.3+7-Ubuntu-1ubuntu218.04.1, mixed mode, sharing)
</pre>

Però amb el jar directament sí que funciona:
<pre>
$ cd Baixades
$ java -jar josm-tested.jar
</pre>

=Programació (querying): Osmapi (API v0.6), OverpassAPI, scripts Python=
*https://wiki.openstreetmap.org/wiki/Downloading_data
*https://towardsdatascience.com/loading-data-from-openstreetmap-with-python-and-the-overpass-api-513882a27fd0

La primera manera de descarregar les dades és amb l'editor JOSM. Es selecciona una àrea, i es baixa totes les dades que conté en format XML (extensió .osm).

map request docs:
*https://wiki.openstreetmap.org/wiki/API_v0.6#Retrieving_map_data_by_bounding_box:_GET_.2Fapi.2F0.6.2Fmap

Per exemple, des del navegador:
*https://api.openstreetmap.org/api/0.6/map?bbox=11.54,48.14,11.543,48.145
descarrega en format osm la informació continguda en aquesta selecció (left, bottom, up, right)
Però millor fer-ho amb wget:
<pre>
$ wget -O muenchen.osm "https://api.openstreetmap.org/api/0.6/map?bbox=11.54,48.14,11.543,48.145"
</pre>

Per exemple, la informació del Xalet del Moixeró:
<pre>
$ wget -O xalet_moixero.osm "https://api.openstreetmap.org/api/0.6/map?bbox=1.856,42.254,1.859,42.256"

...
<way id="737604624" visible="true" version="1" changeset="76054580" timestamp="2019-10-22T14:30:11Z" user="joanillo" uid="10376780">
<nd ref="6906098710"/>
<nd ref="6906098711"/>
<nd ref="6906098712"/>
<nd ref="6906098713"/>
<nd ref="6906098714"/>
<nd ref="6906098715"/>
<nd ref="6906098710"/>
<tag k="building" v="yes"/>
<tag k="name" v="Xalet del Moixeró"/>
</way>
<way id="737614072" visible="true" version="1" changeset="76055749" timestamp="2019-10-22T14:57:02Z" user="joanillo" uid="10376780">
<nd ref="6906169083"/>
<nd ref="6906169084"/>
<nd ref="6906188385"/>
<nd ref="6906188386"/>
<nd ref="6906188387"/>
<nd ref="6906188388"/>
<nd ref="6906188389"/>
<nd ref="6854789453"/>
<nd ref="6906188390"/>
<nd ref="6854789449"/>
<nd ref="6854789448"/>
<nd ref="1434952694"/>
<nd ref="6906188391"/>
<nd ref="6906188392"/>
<nd ref="6906188393"/>
<nd ref="6906188394"/>
<nd ref="6906188395"/>
<nd ref="6906169083"/>
<tag k="landuse" v="farmland"/>
<tag k="name" v="Camp Llarg"/>
</way>
...
</pre>
I aquests nodes fan referència a una informació geogràfica que trobem en el mateix fitxer:
<pre>
...
<node id="6906098710" visible="true" version="1" changeset="76054580" timestamp="2019-10-22T14:30:11Z" user="joanillo" uid="10376780" lat="42.2544841" lon="1.8582213"/>
...
</pre>
==OverpassAPI==
*http://overpass-api.de/
És una API només per descarregar informació. Per exemple, posant en el següent formulari:nhttp://overpass-api.de/query_form.html
<pre>
<osm-script>
<query type="way">
<bbox-query e="1.859" n="42.256" s="42.254" w="1.856"/>
</query>
<print/>
</osm-script>
</pre>
*http://overpass-api.de/query_form.html
<pre>
<osm-script>
<query type="way">
<bbox-query e="1.859" n="42.256" s="42.254" w="1.856"/>
</query>
<print/>
</osm-script>
</pre>
obtins les vies (unió de nodes). Aquí trobo tant carreteres, camins, però també arees que delimiten un edifici (Xalet del Moixeró) o un camp (Camp Llarg).

Filtrem per building o Xalet:
<pre>
<osm-script>
<query type="way">
<bbox-query e="1.859" n="42.256" s="42.254" w="1.856"/>
<has-kv k="building" />
</query>
<print/>
</osm-script>
</pre>
<pre>
<osm-script>
<query type="way">
<bbox-query e="1.859" n="42.256" s="42.254" w="1.856"/>
<has-kv k="name" v="Xalet del Moixeró" />
</query>
<print/>
</osm-script>
</pre>
Resultat:
<pre>
<?xml version="1.0" encoding="UTF-8"?>
<osm version="0.6" generator="Overpass API 0.7.55.7 8b86ff77">
<note>The data included in this document is from www.openstreetmap.org. The data is made available under ODbL.</note>
<meta osm_base="2019-10-22T17:48:02Z"/>

<way id="737604624">
<nd ref="6906098710"/>
<nd ref="6906098711"/>
<nd ref="6906098712"/>
<nd ref="6906098713"/>
<nd ref="6906098714"/>
<nd ref="6906098715"/>
<nd ref="6906098710"/>
<tag k="building" v="yes"/>
<tag k="name" v="Xalet del Moixeró"/>
</way>

</osm>
</pre>
Podem aplicar tots els filtres que vulguem:
<pre>

<osm-script>
<query type="way">
<bbox-query e="1.859" n="42.256" s="42.254" w="1.856"/>
<has-kv k="name" v="Xalet del Moixeró" />
<has-kv k="building" />
</query>
<print/>
</osm-script>
</pre>
Amb overpass-turbo.eu podem visualitzar directament els resultats a la web:

Per exemple, en sortida JSON
<pre>
/*
This shows all mountains (peaks) in the Dolomites.
You may want to use the "zoom onto data" button. =>
*/
[out:json];
// search the relation of the Dolomites
rel
[place=region]
["region:type"="mountain_area"]
["name:en"="Dolomites"];
// show the outline
out geom;
// turn the relation into an area
map_to_area;
// get all peaks in the area
node
[natural=peak]
(area);
out body qt;
</pre>
L'opció del mapa també funciona, amb l'inconvenient de què no navega automàticament a l'àrea d'interès.

El formulari admet dos notacions, ''Overpass QL'' (la que veiem en l'exemple de les Dolomites) i ''Overpass XML''

Es poden utilitzar expressions regulars:
*https://wiki.openstreetmap.org/wiki/Overpass_API/Language_Guide#Non-exact_names

Com es veu en l'article, al voltant de Overpass API podem programar amb NodeJS o Python:
*https://wiki.openstreetmap.org/wiki/Overpass_API#Programs.2FScripts_around_Overpass
Python:
===overpassify===
*https://pypi.org/project/overpassify/
*https://github.com/gappleto97/overpassify
<pre>
$ pip install overpass
$ pip install overpassify
</pre>
(no acaba de funcionar, todo)
===overpy (Python)===
*https://python-overpy.readthedocs.io/en/latest/
<pre>
$ pip install setuptools
$ pip install overpy
</pre>
autopistes.py:
<pre>
import overpy

api = overpy.Overpass()

# fetch all ways and nodes
result = api.query("""
way(50.746,7.154,50.748,7.157) ["highway"];
(._;>;);
out body;
""")

for way in result.ways:
print("Name: %s" % way.tags.get("name", "n/a"))
print(" Highway: %s" % way.tags.get("highway", "n/a"))
print(" Nodes:")
for node in way.nodes:
print(" Lat: %f, Lon: %f" % (node.lat, node.lon))
</pre>
<pre>
$ python autopistes.py
Name: Rhedenstraße
Highway: residential
Nodes:
Lat: 50.746874, Lon: 7.156307
Lat: 50.746598, Lon: 7.156237
Lat: 50.746477, Lon: 7.156199
Lat: 50.746360, Lon: 7.156124
...
</pre>

===query.overpass (NodeJS)===
*https://www.npmjs.com/package/query-overpass
<pre>
$ sudo npm install -g query-overpass
</pre>
<pre>
$ echo 'node(57.7,11.9,57.8,12.0)[amenity=bar];out;' | query-overpass

{"type":"FeatureCollection","features":[{"type":"Feature","id":"node/2318390720","properties":{"type":"node","id":"2318390720","tags":{"access":"private","amenity":"bar","name":"Göteborgs vinkällare","website":"http://www.gbgvin.se"},"relations":[],"meta":{}},"geometry":{"type":"Point","coordinates":[11.9643378,57.7064417]}},{"type":"Feature","id":"node/2468969556","properties":{"type":"node","id":"2468969556","tags":{"amenity":"bar","name":"Dancing Dingo"}
...
</pre>
o bé script ''query.ql'':
<pre>
node(57.7,11.9,57.8,12.0)[amenity=bar];out;
</pre>
<pre>
$ query-overpass query.ql
</pre>
===Seguim article===
Seguim article:
*https://towardsdatascience.com/loading-data-from-openstreetmap-with-python-and-the-overpass-api-513882a27fd0
We have three basic components in the OSM data model, which are nodes, ways and relations which all come with an id. Many of the elements come with tags which describe specific features represented as key-value pairs. In simple terms, nodes are points on the maps (in latitude and longitude).

Utilitzen '''overpassturbo''' per veure els cafès de Bagà:
*http://overpass-turbo.eu/
coordenades de Bagà (box) (es poden trobar fàcilment amb el JOSM, pestanya Límits):
<pre>
42.2485658
42.2548237
1.8581486
1.8699503
</pre>
node["amenity"="cafe"]
(42.2485658,1.8581486,42.2548237,1.8699503);

Cerquem els bars de Bagà a ''overpassturbo'':
<pre>
node["amenity"="bar"]
(42.2485658,1.8581486,42.2548237,1.8699503);
out;
</pre>
i visualitzem els resultats en format osm o directament en el mapa:
<pre>
<?xml version="1.0" encoding="UTF-8"?>
<osm version="0.6" generator="Overpass API 0.7.55.7 8b86ff77">
<note>The data included in this document is from www.openstreetmap.org. The data is made available under ODbL.</note>
<meta osm_base="2019-10-23T14:55:02Z"/>

<node id="3542340645" lat="42.2526823" lon="1.8604314">
<tag k="amenity" v="bar"/>
</node>
<node id="3542340794" lat="42.2528414" lon="1.8603926">
<tag k="amenity" v="bar"/>
</node>

</osm>
</pre>

Altres possibilitats:
<pre>
[out:csv(::id,::type,"name","addr:postcode","addr:city","addr:street","addr:housenumber","website"," contact:email=*")][timeout:300];
(
node[amenity=bar](42.2485658,1.8581486,42.2548237,1.8699503);
way[amenity=bar](42.2485658,1.8581486,42.2548237,1.8699503);
relation[amenity=bar](42.2485658,1.8581486,42.2548237,1.8699503);
);
out;
</pre>
Amb '''bbox''' senzillament es fa la consulta sobre el mapa que tenim seleccionat, així no has de saber les coordenades:
<pre>
[out:csv(::id,::type,"name","addr:postcode","addr:city","addr:street","addr:housenumber","website"," contact:email=*")][timeout:300];
(
node[amenity=drinking_water]({{bbox}});
way[amenity=drinking_water]({{bbox}});
relation[amenity=drinking_water]({{bbox}});
);
out;
</pre>
Ciutats del Regne Unit:
<pre>
area["ISO3166-1"="GB"][admin_level=2];
node["place"="city"](area);
out;
</pre>
Per exemple, universitats espanyoles:
<pre>
area["ISO3166-1"="ES"][admin_level=2];
( node["amenity"="university"](area);
way["amenity"="university"](area);
rel["amenity"="university"](area);
);
out center;
</pre>
Amb '''curl''' també funciona, però és una mica d'embolic:
<pre>
curl --globoff -o output.xml "http://overpass-api.de/api/interpreter?data=area[%22ISO3166-1%22=%22ES%22][admin_level=2];node[%22amenity%22=%22university%22](area);out%20center;"

<node id="1867257725" lat="40.5442248" lon="-3.6985621">
<tag k="amenity" v="university"/>
<tag k="name" v="Facultad de Filosofía y Letras"/>
</node>
</pre>
el mateix en format sortida JSON:
<pre>
$ curl --globoff -o output.json "http://overpass-api.de/api/interpreter?data=[out:json];area[%22ISO3166-1%22=%22ES%22][admin_level=2];node[%22amenity%22=%22university%22](area);out%20center;"

{
"type": "node",
"id": 6888773464,
"lat": 42.3444391,
"lon": -7.8567589,
"tags": {
"amenity": "university",
"description": "B3: Vivir en sociedade\nFachada dun edificio da universidade da UVigo. É un edificio da administración pública.",
"name": "Pavillón 1 campus UVigo",
"note": "I.C.C."
}
}
</pre>
[[Fitxer:Universitats.png | thumbnail]]
I ara utilitzem un script python per mostrar i visualitzar els resultats:

'''universitats.py''':
<pre>
import requests
import json
overpass_url = "http://overpass-api.de/api/interpreter"
overpass_query = """
[out:json];
area["ISO3166-1"="ES"][admin_level=2];
(node["amenity"="university"](area);
way["amenity"="university"](area);
rel["amenity"="university"](area);
);
out center;
"""
response = requests.get(overpass_url,
params={'data': overpass_query})
data = response.json()
#print data

import numpy as np
import matplotlib.pyplot as plt
# Collect coords into list
coords = []
for element in data['elements']:
if element['type'] == 'node':
lon = element['lon']
lat = element['lat']
coords.append((lon, lat))
elif 'center' in element:
lon = element['center']['lon']
lat = element['center']['lat']
coords.append((lon, lat))
# Convert coordinates into numpy array
X = np.array(coords)
plt.plot(X[:, 0], X[:, 1], 'o')
plt.title('Universitats a EE')
plt.xlabel('Longitude')
plt.ylabel('Latitude')
plt.axis('equal')
plt.show()
</pre>
<pre>
...
u'amenity': u'university', u'description': u'Universidad t\xe9cnica adscrita a la UAB (Universidad Aut\xf3noma de Barcelona)', u'phone': u'+34 93 2805244', u'addr:street': u'Passeig Sant Joan Bosco',
...
</pre>

Another way to access the Overpass API with Python is by using the overpy package as a wrapper. Here you can see how we can translate the previous example with the overpy package

script '''universitats2.py''':
<pre>
import overpy
api = overpy.Overpass()
r = api.query("""
area["ISO3166-1"="ES"][admin_level=2];
(node["amenity"="university"](area);
way["amenity"="university"](area);
rel["amenity"="university"](area);
);
out center;
""")
coords = []
coords += [(float(node.lon), float(node.lat))
for node in r.nodes]
coords += [(float(way.center_lon), float(way.center_lat))
for way in r.ways]
coords += [(float(rel.center_lon), float(rel.center_lat))
for rel in r.relations]

print(coords)
</pre>
<pre>
...
, (-6.2988483, 36.5352253), (-6.2974176, 36.5331516), (2.1264003, 41.3953882), (2.627724, 41.6024539), (-7.8565381, 42.3446821), (-7.8562432, 42.3444397), (-7.8567589, 42.3444391)]
</pre>
==osmapi==
*https://wiki.openstreetmap.org/wiki/Osmapi
Amb '''osmapi''' podem també fer cerques. Però el que ens interessa més en la propera secció és que amb osmapi podem crear i editar nodes.

Codi mínim:
<pre>
from osmapi import OsmApi
MyApi = OsmApi()
print(MyApi.NodeGet(123))

{u'changeset': 532907, u'uid': 14298,
u'timestamp': u'2007-09-29T09:19:17Z',
u'lon': 10.790009299999999, u'visible': True,
u'version': 1, u'user': u'Mede',
u'lat': 59.9503044, u'tag': {}, u'id': 123}
</pre>

=Programació: Osmapi (crear, editar i esborrar nodes amb python)=
*https://wiki.openstreetmap.org/wiki/Osmapi
<pre>
$ pip install --user osmapi
</pre>
ja podem crear un node a OSM, seguint l'exemple bàsic de la documentació. script ''osmpai_v2.py'':
<pre>
# encoding: utf-8
from osmapi import OsmApi
MyApi = OsmApi(passwordfile="/home/joan/projectes/arbres_monumentals/.password")

MyApi.ChangesetCreate({u"comment": u"Modificació de prova en el Camp Llarg"})
print(MyApi.NodeCreate({u"lat":42.25543, u"lon":1.85804, u"tag": {}}))
MyApi.ChangesetClose()

#{u'changeset': 76186141, u'version': 1, u'lon': 1.85743, u'tag': {}, u'lat': #42.25532, u'id': 6914599486}
</pre>
El format del passwordfile és joanqc@gmail.com:jq******** (o bé el nom d'usuari, ''joanillo'')

Ara ja podem crear un arbre: ''osmapi_v3.py''
<pre>
# encoding: utf-8
from osmapi import OsmApi
MyApi = OsmApi(passwordfile="/home/joan/projectes/arbres_monumentals/.password")

MyApi.ChangesetCreate({u"comment": u"Modificació de prova en el Camp Llarg"})
data = {u"lat":42.25543, u"lon":1.85804, u"tag": { u"natural": u"tree", u"name": u"Pi del Camp Llarg" }}
print(MyApi.NodeCreate(data))
MyApi.ChangesetClose()
</pre>

I ara ja puc afegir totes les dades de l'arbre, i gravar automàticament les dades (amb flush()): ''osmapi_v4.py''
<pre>
# encoding: utf-8
from osmapi import OsmApi
MyApi = OsmApi(passwordfile="/home/joan/projectes/arbres_monumentals/.password")

MyApi.ChangesetCreate({u"comment": u"Modificació de prova en el Camp Llarg"})
data = {u"lat":42.25543, u"lon":1.85804, u"tag": { u"natural": u"tree", u"name": u"Pi del Camp Llarg", u"species": u"Olea europea", u"species:ca": u"Olivera", u"note": u"Arbre Monumental (MA-01.001.01) https://ca.wikipedia.org/wiki/Llista_d%27arbres_monumentals_de_Catalunya" }}
print(MyApi.NodeCreate(data))
MyApi.ChangesetClose()
MyApi.flush()
</pre>
Donat un node que ja existeix, el vull actualitzar. Aquesta és la manera de procedir: (''osmapi_v5.py''):
<pre>
# encoding: utf-8
from osmapi import OsmApi
MyApi = OsmApi(passwordfile="/home/joan/projectes/arbres_monumentals/.password")

MyApi.ChangesetCreate({u"comment": u"Modificació de prova4 en el Camp Llarg"})
node = MyApi.NodeGet(6914950285)
tags = node["tag"]
tags[u"natural"] = u"tree"
tags[u"name"] = u"Pi del Camp Llarg"
tags[u"species"] = u"Pinus sylvestris"
tags[u"species:ca"] = u"pi roig"
tags[u"note"] = u"Arbre Monumental (MA-01.001.01) https://ca.wikipedia.org/wiki/Llista_d%27arbres_monumentals_de_Catalunya"

print(MyApi.NodeUpdate(node))
MyApi.ChangesetClose()
MyApi.flush()
</pre>
I ara vull esborrar el node programàticament (''osmpai_v6.py''):
<pre>
# encoding: utf-8
from osmapi import OsmApi
MyApi = OsmApi(passwordfile="/home/joan/projectes/arbres_monumentals/.password")

MyApi.ChangesetCreate({u"comment": u"Eliminació del pi en el Camp Llarg"})
node = MyApi.NodeGet(6914920685)

MyApi.NodeDelete(node)
MyApi.ChangesetClose()
MyApi.flush()
</pre>
Si el que vull és esborrar un ''tag'' que ja existeix, he de pensar que els ''tags'' és un diccionari, i en un diccionari podem eliminar membres:
<pre>
#eliminar un tag: https://stackoverflow.com/questions/5844672/delete-an-element-from-a-dictionary
del tags[u"recycling"]
</pre>
(en aquest exemple dels Punts Verds m'havia quedat el tag recyclint="" (cadena buida) degut a un error, i el que s'ha de fer és eliminar el tag.

{{Autor}}, octubre 2019

OpenStreetMap - OSM - Historial de revisió

Joan: /* Edició */