Diferència entre revisions de la pàgina «Curs GDS (Dani Arribas)»

De wikijoan
Salta a la navegació Salta a la cerca
m
 
(Hi ha 8 revisions intermèdies del mateix usuari que no es mostren)
Línia 1: Línia 1:
 
__TOC__
 
__TOC__
 
=Introducció=
 
=Introducció=
 +
*https://darribas.org/gds_course/content/home.html
 
*http://darribas.org/gds19/
 
*http://darribas.org/gds19/
 
code repository:
 
code repository:
Línia 7: Línia 8:
 
El curs es basa en la plataforma docker i JupyterLab: A containerised platform for Geographic Data Science: gds_env:
 
El curs es basa en la plataforma docker i JupyterLab: A containerised platform for Geographic Data Science: gds_env:
 
*https://darribas.org/gds_env/
 
*https://darribas.org/gds_env/
 +
 +
Llibre que es recomana:
 +
In addition, the currently-in-progress book:
 +
"Geographic Data Science with PySAL and the PyData stack"
 +
provides and additional resource for more in-depth coverage of similar content.
 +
*https://geographicdata.science/book/intro.html -> llibre, que conté notebooks
 +
 
=Instal·lació Docker per seguir el curs de GDS=
 
=Instal·lació Docker per seguir el curs de GDS=
 
*https://gdsl-ul.github.io/soft_install/
 
*https://gdsl-ul.github.io/soft_install/
Línia 43: Línia 51:
 
sudo apt-get install docker-ce docker-ce-cli containerd.io
 
sudo apt-get install docker-ce docker-ce-cli containerd.io
  
−
sudo docker run hello-world
+
$ sudo docker run hello-world
−
(són 10GB de dades)
+
(per comprovar que està funcionant)
 +
</pre>
 +
==Instal·lació a Linux Mint==
 +
Les anteriors instruccions són per a Ubuntu. Per a Linux Mint és una mica diferent. Ho farem descarregant els paquets .deb i instal·lant-los.
 +
*https://linuxhint.com/install_docker_linux_mint/
 +
 
 +
Ho faig igual fins a
 +
<pre>
 +
sudo apt-key fingerprint 0EBFCD88
 +
</pre>
 +
 
 +
A linux mint jo tinc la versió:
 +
<pre>
 +
$ lsb_release -cs
 +
ulyana
 +
</pre>
 +
és l'equivalent al ''focal'' a ubuntu:
 +
*https://linuxmint.com/download_all.php
 +
 
 +
Now, download the latest versions of containerd and docker-ce-cli or docker-ce. Ho descarreguem de:
 +
*https://download.docker.com/linux/ubuntu/dists/focal/pool/stable/amd64/
 +
 
 +
I ara ja puc instal·lar els debs:
 +
<pre>
 +
$ ls *.deb
 +
containerd.io_1.4.4-1_amd64.deb
 +
docker-ce_20.10.5_3-0_ubuntu-focal_amd64.deb
 +
docker-ce-cli_20.10.5_3-0_ubuntu-focal_amd64.deb
 +
 
 +
sudo dpkg -i *.deb
 +
</pre>
 +
i ara ja puc fer, per comprovar que ho tinc ben instal·lat:
 +
<pre>
 +
$ sudo docker run hello-world
 
</pre>
 
</pre>
 
==Descarregar el curs de GDS==
 
==Descarregar el curs de GDS==
−
Ja puc descarregar el docker del curs (necessari fer-ho amb sudo):
+
Ja puc descarregar el docker del curs (necessari fer-ho amb sudo): (són 10GB)
 
<pre>
 
<pre>
 
$ sudo docker pull darribas/gds:5.0
 
$ sudo docker pull darribas/gds:5.0
 +
 +
...
 +
c6469c51253b: Pull complete
 +
664daee4448a: Pull complete
 +
d89a67b3caff: Pull complete
 +
Digest: sha256:3d9b282bbb54e3c9001062a393d7936c80ef1cbe15ae38f0e82e1151171aecff
 +
Status: Downloaded newer image for darribas/gds:5.0
 +
docker.io/darribas/gds:5.0
 
</pre>
 
</pre>
 
<pre>
 
<pre>
Línia 75: Línia 124:
 
I ja estem en el JupyterLab. En el Launcher tenim el Notebook de Python3, que podem utilitzar.
 
I ja estem en el JupyterLab. En el Launcher tenim el Notebook de Python3, que podem utilitzar.
  
 +
=A - INTRODUCTION=
 +
==Concepts==
 +
*https://darribas.org/gds_course/content/bA/concepts_A.html#
 +
==Hands-on==
 +
*https://darribas.org/gds_course/content/bA/lab_A.html
 +
aquí és on va l'explicació de com funciona el Jupyter Lab i el Jupyter Notebook.
 +
 +
Mastering ''markdown'', és la guia per aprendre a editar bé els Notebooks:
 +
*https://guides.github.com/features/mastering-markdown/
 +
 +
Em descarrego el zip que és a Infraestructure, i això és tot el curs en format Notebook, i conté tota la informació que es necessita per al curs.
 +
==Do-It-Yourself==
 +
 +
=B - OPEN SCIENCE=
 +
==Concepts==
 +
==Hands-on==
 +
Un extracte del fitxer CSV de Liverpool, ''liv_pop.csv'':
 +
<pre>
 +
GeographyCode,Europe,Africa,Middle East and Asia,The Americas and the Caribbean,Antarctica and Oceania
 +
E01006512,910,106,840,24,0
 +
E01006513,2225,61,595,53,7
 +
E01006514,1786,63,193,61,5
 +
E01006515,974,29,185,18,2
 +
E01006518,1531,69,73,19,4
 +
E01006519,1238,7,24,14,3
 +
E01006520,1607,31,36,26,6
 +
...
 +
</pre>
  
 +
==Do-It-Yourself==
 +
=C - SPATIAL DATA=
 +
==Concepts==
 +
==Hands-on==
 +
==Do-It-Yourself==
 +
=D - MAPPING DATA=
 +
==Concepts==
 +
==Hands-on==
 +
==Do-It-Yourself==
 +
=E - SPATIAL WEIGHTS=
 +
==Concepts==
 +
==Hands-on==
 +
==Do-It-Yourself==
 +
=F - ESDA=
 +
==Concepts==
 +
==Hands-on==
 +
==Do-It-Yourself==
 +
=G - CLUSTERING=
 +
==Concepts==
 +
==Hands-on==
 +
==Do-It-Yourself==
 +
=H - POINTS=
 +
==Concepts==
 +
==Hands-on==
 +
==Do-It-Yourself==
 
{{Autor}}, febrer 2021
 
{{Autor}}, febrer 2021

Revisió de 23:35, 29 març 2021

Introducció

code repository:

El curs es basa en la plataforma docker i JupyterLab: A containerised platform for Geographic Data Science: gds_env:

Llibre que es recomana: In addition, the currently-in-progress book: "Geographic Data Science with PySAL and the PyData stack" provides and additional resource for more in-depth coverage of similar content.

Instal·lació Docker per seguir el curs de GDS

seleccionem: Docker Engine - Ubuntu (Community) 

$ lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 18.04.2 LTS
Release:	18.04
Codename:	bionic

Instal·lació de Docker segons la documentació oficial: 

sudo apt-get update

sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-key fingerprint 0EBFCD88

sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

$ sudo docker run hello-world
(per comprovar que està funcionant)

Instal·lació a Linux Mint

Les anteriors instruccions són per a Ubuntu. Per a Linux Mint és una mica diferent. Ho farem descarregant els paquets .deb i instal·lant-los.

Ho faig igual fins a 

sudo apt-key fingerprint 0EBFCD88

A linux mint jo tinc la versió: 

$ lsb_release -cs
ulyana

és l'equivalent al focal a ubuntu:

Now, download the latest versions of containerd and docker-ce-cli or docker-ce. Ho descarreguem de:

I ara ja puc instal·lar els debs: 

$ ls *.deb
containerd.io_1.4.4-1_amd64.deb
docker-ce_20.10.5_3-0_ubuntu-focal_amd64.deb
docker-ce-cli_20.10.5_3-0_ubuntu-focal_amd64.deb

sudo dpkg -i *.deb

i ara ja puc fer, per comprovar que ho tinc ben instal·lat: 

$ sudo docker run hello-world

Descarregar el curs de GDS

Ja puc descarregar el docker del curs (necessari fer-ho amb sudo): (són 10GB) 

$ sudo docker pull darribas/gds:5.0

...
c6469c51253b: Pull complete 
664daee4448a: Pull complete 
d89a67b3caff: Pull complete 
Digest: sha256:3d9b282bbb54e3c9001062a393d7936c80ef1cbe15ae38f0e82e1151171aecff
Status: Downloaded newer image for darribas/gds:5.0
docker.io/darribas/gds:5.0

$ sudo docker image ls
REPOSITORY     TAG       IMAGE ID       CREATED         SIZE
darribas/gds   5.0       2d37947f8674   6 months ago    7.89GB
hello-world    latest    bf756fb1ae65   13 months ago   13.3kB

I ja el podem executar. És un Jupiter notebook: 

$ sudo docker run --rm -ti -p 8888:8888 -v ${PWD}:/home/jovyan/work darribas/gds:5.0

To access the notebook, open this file in a browser:
        file:///home/jovyan/.local/share/jupyter/runtime/nbserver-9-open.html
    Or copy and paste one of these URLs:
        http://f81a24484fab:8888/?token=9c7b1b7b8c5fd251ddf3eef79fffe3079330e48a059fa0b6
     or http://127.0.0.1:8888/?token=9c7b1b7b8c5fd251ddf3eef79fffe3079330e48a059fa0b6
...

I ara hem d'obrir el navegador i connectar-nos a:

  • localhost:8888

El password és el token: 9c7b1b7b8c5fd251ddf3eef79fffe3079330e48a059fa0b6

I ja estem en el JupyterLab. En el Launcher tenim el Notebook de Python3, que podem utilitzar.

A - INTRODUCTION

Concepts

Hands-on

aquí és on va l'explicació de com funciona el Jupyter Lab i el Jupyter Notebook.

Mastering markdown, és la guia per aprendre a editar bé els Notebooks:

Em descarrego el zip que és a Infraestructure, i això és tot el curs en format Notebook, i conté tota la informació que es necessita per al curs.

Do-It-Yourself

B - OPEN SCIENCE

Concepts

Hands-on

Un extracte del fitxer CSV de Liverpool, liv_pop.csv: 

GeographyCode,Europe,Africa,Middle East and Asia,The Americas and the Caribbean,Antarctica and Oceania
E01006512,910,106,840,24,0
E01006513,2225,61,595,53,7
E01006514,1786,63,193,61,5
E01006515,974,29,185,18,2
E01006518,1531,69,73,19,4
E01006519,1238,7,24,14,3
E01006520,1607,31,36,26,6
...

Do-It-Yourself

C - SPATIAL DATA

Concepts

Hands-on

Do-It-Yourself

D - MAPPING DATA

Concepts

Hands-on

Do-It-Yourself

E - SPATIAL WEIGHTS

Concepts

Hands-on

Do-It-Yourself

F - ESDA

Concepts

Hands-on

Do-It-Yourself

G - CLUSTERING

Concepts

Hands-on

Do-It-Yourself

H - POINTS

Concepts

Hands-on

Do-It-Yourself

creat per Joan Quintana Compte, febrer 2021

Obtingut de «http://wiki.joanillo.org/index.php?title=Curs_GDS_(Dani_Arribas)&oldid=297278»