Curs GDS (Dani Arribas)

De wikijoan
Salta a la navegació Salta a la cerca

Introducció

code repository:

El curs es basa en la plataforma docker i JupyterLab: A containerised platform for Geographic Data Science: gds_env:

Llibre que es recomana: In addition, the currently-in-progress book: "Geographic Data Science with PySAL and the PyData stack" provides and additional resource for more in-depth coverage of similar content.

Instal·lació Docker per seguir el curs de GDS

seleccionem: Docker Engine - Ubuntu (Community)

$ lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 18.04.2 LTS
Release:	18.04
Codename:	bionic

Instal·lació de Docker segons la documentació oficial:

sudo apt-get update

sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-key fingerprint 0EBFCD88

sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

$ sudo docker run hello-world
(per comprovar que està funcionant)

Instal·lació a Linux Mint

Les anteriors instruccions són per a Ubuntu. Per a Linux Mint és una mica diferent. Ho farem descarregant els paquets .deb i instal·lant-los.

Ho faig igual fins a

sudo apt-key fingerprint 0EBFCD88

A linux mint jo tinc la versió:

$ lsb_release -cs
ulyana

és l'equivalent al focal a ubuntu:

Now, download the latest versions of containerd and docker-ce-cli or docker-ce. Ho descarreguem de:

I ara ja puc instal·lar els debs:

$ ls *.deb
containerd.io_1.4.4-1_amd64.deb
docker-ce_20.10.5_3-0_ubuntu-focal_amd64.deb
docker-ce-cli_20.10.5_3-0_ubuntu-focal_amd64.deb

sudo dpkg -i *.deb

i ara ja puc fer, per comprovar que ho tinc ben instal·lat:

$ sudo docker run hello-world

Descarregar el curs de GDS

Ja puc descarregar el docker del curs (necessari fer-ho amb sudo): (són 10GB)

$ sudo docker pull darribas/gds:5.0

...
c6469c51253b: Pull complete 
664daee4448a: Pull complete 
d89a67b3caff: Pull complete 
Digest: sha256:3d9b282bbb54e3c9001062a393d7936c80ef1cbe15ae38f0e82e1151171aecff
Status: Downloaded newer image for darribas/gds:5.0
docker.io/darribas/gds:5.0
$ sudo docker image ls
REPOSITORY     TAG       IMAGE ID       CREATED         SIZE
darribas/gds   5.0       2d37947f8674   6 months ago    7.89GB
hello-world    latest    bf756fb1ae65   13 months ago   13.3kB

I ja el podem executar. És un Jupiter notebook:

$ sudo docker run --rm -ti -p 8888:8888 -v ${PWD}:/home/jovyan/work darribas/gds:5.0

To access the notebook, open this file in a browser:
        file:///home/jovyan/.local/share/jupyter/runtime/nbserver-9-open.html
    Or copy and paste one of these URLs:
        http://f81a24484fab:8888/?token=9c7b1b7b8c5fd251ddf3eef79fffe3079330e48a059fa0b6
     or http://127.0.0.1:8888/?token=9c7b1b7b8c5fd251ddf3eef79fffe3079330e48a059fa0b6
...

I ara hem d'obrir el navegador i connectar-nos a:

  • localhost:8888

El password és el token: 9c7b1b7b8c5fd251ddf3eef79fffe3079330e48a059fa0b6

I ja estem en el JupyterLab. En el Launcher tenim el Notebook de Python3, que podem utilitzar.

A - INTRODUCTION

Concepts

Hands-on

aquí és on va l'explicació de com funciona el Jupyter Lab i el Jupyter Notebook.

Mastering markdown, és la guia per aprendre a editar bé els Notebooks:

Em descarrego el zip que és a Infraestructure, i això és tot el curs en format Notebook, i conté tota la informació que es necessita per al curs.

Do-It-Yourself

B - OPEN SCIENCE

Concepts

Hands-on

Un extracte del fitxer CSV de Liverpool, liv_pop.csv:

GeographyCode,Europe,Africa,Middle East and Asia,The Americas and the Caribbean,Antarctica and Oceania
E01006512,910,106,840,24,0
E01006513,2225,61,595,53,7
E01006514,1786,63,193,61,5
E01006515,974,29,185,18,2
E01006518,1531,69,73,19,4
E01006519,1238,7,24,14,3
E01006520,1607,31,36,26,6
...

Do-It-Yourself

C - SPATIAL DATA

Concepts

Hands-on

Do-It-Yourself

D - MAPPING DATA

Concepts

Hands-on

Do-It-Yourself

E - SPATIAL WEIGHTS

Concepts

Hands-on

Do-It-Yourself

F - ESDA

Concepts

Hands-on

Do-It-Yourself

G - CLUSTERING

Concepts

Hands-on

Do-It-Yourself

H - POINTS

Concepts

Hands-on

Do-It-Yourself


creat per Joan Quintana Compte, febrer 2021