Web PT Data

This project has as a main purpose provide a clean way to get important data from public services of Portuguese government and other organizations with civic and public interest in general.

Open WEB Services for Portuguese public services data.

List of Services to be integrated

• Instituto Nacional de Estatística
• Banco de Portugal
• Assembleia da República
• Procuradoria-Geral da República
• Comissão Nacional de Eleições
• Governo dos Açores
• Sociedade Interbancária de Serviços
• Instituto do Desporto de Portugal, I.P.
• Instituto Português do Desporto e da Juventude
• Instituto Nacional de Comunicações
• Entidade Reguladora dos Serviços de Águas e Resíduos
• Ministério da Solidariedade e da Segurança Social 
• Centro Nacional de Pensões
• Instituto da Segurança Social, I.P.
• Direcção-Geral da Segurança Social
• Gabinete de Estratégia e Planeamento
• Instituto de Gestão Financeira da Segurança Social
• Instituto de Informática
• Direcção-Geral do Ensino Superior
• Fundação para a Ciência e a Tecnologia
• Gabinete de Planeamento, Estratégia, Avaliação e Relações Internacionais
• Direcção-Geral de Estatística da Educação e Ciência (DGEEC)
• Gabinete de Estatística e Planeamento da Educação
• Gabinete de Gestão Financeira
• Gabinete de Avaliação Educacional
• Rede de Bibliotecas Escolares
• Agência Portuguesa do Ambiente
• Instituto da Água, I.P.
• Instituto de Meteorologia
• Instituto Português do Mar e da Atmosfera
• Direcção-Geral da Política de Justiça
• Instituto Nacional de Propriedade Industrial
• Administração Central do Sistema de Saúde
• Alto Comissariado da Saúde
• Direcção-Geral da Saúde
• INFARMED
• Instituto Nacional de Saúde Doutor Ricardo Jorge
• Instituto do Cinema e do Audiovisual
• Instituto dos Museus e da Conservação
• Teatro Nacional de São Carlos
• Organismo de Produção Artística
• Teatro Nacional D. Maria II
• Organismo de Produção Artística
• Teatro Nacional São João
• Organismo de Produção Artística
• Biblioteca Nacional de Portuga l
• Autoridade Nacional de Segurança Rodoviária
• Direcção- Geral da Administração Interna
• Serviço de Estrangeiros e Fronteiras
• Caixa Geral de Aposentações
• Direcção-Geral de Protecção Social aos Funcionários e Agentes da Administração Pública
• Direcção-Geral de Protecção Social aos Trabalhadores em Funções Públicas
• Direcção-Geral da Administração e do Emprego Público
• Direcção-Geral dos Impostos
• Autoridade Tributária e Aduaneira
• Direcção-Geral do Orçamento
• Direcção-Geral do Tesouro e Finanças
• Gabinete de Planeamento, Estratégia, Avaliação e Relações Internacionais
• Instituto de Gestão da Tesouraria e do Crédito Público
• Autoridade Florestal Nacional
• Direcção-Geral das Pescas e Aquicultura
• Direcção-Geral do Emprego e das Relações de Trabalho
• Instituto de Emprego e Formação Profissional
• Autoridade de Segurança Alimentar e Económica
• Direcção-Geral de Energia e Geologia
• Departamento de Estatística da União Europeia
• Organização Internacional das Madeiras Tropicais
• U.S. Bureau of Labour Statistics
• Direcção-Geral Sociedade da Informação da Comissão Europeia
• Agência Europeia do Ambiente
• Agência Internacional de Energia
• Banco Central Europeu
• Centro Comum de Investigação da Comissão Europeia
• Centro Temático Europeu sobre o Ar e as Alterações Climáticas
• Comissão Económica das Nações Unidas para a Europa
• Comissão Europeia
• DG Acção Climática da Comissão Europeia
• Institutos Nacionais de Estatística
• Ministério dos Assuntos Internos e Comunicações do Japão
• Nações Unidas
• Organização das Nações Unidas para a Educação, Ciência e Cultura – Instituto de Estatística
• Organização Europeia de Patentes
• Organização Internacional do Trabalho
• Organização Mundial de Saúde
• Organização para a Alimentação e Agricultura das Nações Unidas
• Organização para a Cooperação e Desenvolvimento Económico
• Statistics Bureau
• U.S. Statistics Bureau
• União Internacional das Telecomunicações

Documentation

SMDX

• SDMX SDMX stands for Statistical Data and Metadata eXchange
  
• SDMX Data Types xsd Here are defined the datatypes used by the SDMX protocol
• SDMX Validation Scheme Here is defined the structure of a SDMX XML file.

Scrapper Scripts

Sometimes an api is a bit overkill if you just to tinker quickly with the data. With this in mind was created a new folder called scripts which will hold miscelaneous scripts to help ease the process of scrapping data.

For those scrips in which is used python you’ll need to ensure that python3 is being used. It is also advised to use the traditional

virtualenv .venv; source .venv/bin/activate

And ensure that everything is working by validating python version with

python --version

BaseGov

A small python script was developed as a first iteration which will help you scrape over BaseGov.pt data