Converter ECSV para CSV

O software científico geralmente produz ECSV, enquanto aplicativos de planilhas, bancos de dados e geração de relatórios normalmente exigem CSV comum. Convertê-lo torna a tabela mais fácil de compartilhar e editar, mas remove metadados que CSV não pode armazenar.

O que é ECSV

ECSV significa Enhanced Character-Separated Values. É um formato de tabela de texto desenvolvido para o ecossistema Astropy e usado principalmente em astronomia e outros fluxos de trabalho de dados científicos.

Um arquivo ECSV combina um cabeçalho de metadados no estilo YAML com dados de tabela delimitados. O cabeçalho pode definir nomes de colunas, tipos de dados, unidades, descrições, tratamento de valores nulos e outros metadados de tabela do Astropy. Um arquivo típico começa com # %ECSV 1.0. ECSV pode usar vírgulas, tabulações ou outro delimitador, portanto a extensão do arquivo, por si só, não determina o separador.

Astropy grava esse formato a partir de objetos astropy.table.Table com format='ascii.ecsv'. Microsoft Excel e a maioria dos aplicativos gerais de planilhas não interpretam nativamente o cabeçalho ECSV como uma tabela.

O que é CSV

CSV armazena um registro por linha, com campos separados por vírgulas. Um campo que contenha uma vírgula, aspas ou quebra de linha normalmente é delimitado por aspas duplas, e uma aspa incorporada é representada por duas aspas.

CSV é compatível com LibreOffice Calc, Microsoft Excel, importadores de bancos de dados, bibliotecas de programação e muitos serviços web. Ele é mais simples e geralmente menor que ECSV, mas normalmente não preserva unidades, descrições, tipos de dados específicos do Astropy, máscaras, proveniência ou metadados de tabela personalizados. CSV possui convenções comuns, em vez de uma implementação completamente uniforme, portanto os aplicativos podem divergir quanto à codificação, aos finais de linha, aos delimitadores e aos valores ausentes.

Converter com Astropy

Astropy é a opção mais segura porque lê o esquema ECSV em vez de tratar o cabeçalho de metadados como dados comuns.

Instale o Astropy:

python -m pip install astropy

Execute este comando no diretório que contém o arquivo de origem:

python -c "from astropy.table import Table; Table.read('input.ecsv', format='ascii.ecsv').write('output.csv', format='ascii.csv', overwrite=True)"

Isso lê input.ecsv e grava um output.csv delimitado por vírgulas. A opção overwrite=True substitui um arquivo de saída existente; omita-a se a substituição acidental precisar ser evitada.

Para conversões repetidas, salve o seguinte como convert_ecsv.py:

from astropy.table import Table

table = Table.read('input.ecsv', format='ascii.ecsv')
table.write('output.csv', format='ascii.csv', overwrite=True)

Execute-o com:

python convert_ecsv.py

Se a origem usar um recurso ECSV incomum ou contiver valores mascarados, inspecione a tabela resultante e ajuste a tabela do Astropy antes de gravá-la. Não remova linhas de comentário manualmente, a menos que o arquivo tenha um layout simples e conhecido; fazer isso pode causar a perda de definições de colunas ou deixar os dados desalinhados.

Usar ferramentas para desktop e online

Use LibreOffice Calc ou Microsoft Excel para inspecionar o CSV gerado, não para analisar o ECSV original. Abra o resultado por meio de File → Open, selecione vírgula como delimitador quando solicitado e verifique os tipos detectados. Ao salvar novamente, escolha CSV e confirme vírgula como delimitador e UTF-8 como codificação quando o aplicativo oferecer essas configurações. Caso contrário, as configurações regionais da planilha poderão produzir uma saída separada por ponto e vírgula ou alterar valores decimais e de data.

Não há um conversor web específico para ECSV amplamente compatível que preserve esquemas do Astropy de forma confiável. Para uma conversão baseada em navegador, Google Colab é uma opção online prática: crie um notebook, execute !pip install astropy, faça upload do arquivo ECSV e execute o mesmo código Table.read(...).write(...). Não faça upload de dados confidenciais ou regulamentados para o Colab ou para um conversor de terceiros. Sites genéricos de CSV, como Zamzar ou Convertio, só devem ser usados se a lista de formatos atual aceitar explicitamente ECSV; caso contrário, eles poderão copiar o cabeçalho YAML para a saída ou interpretá-lo como dados.

Verificar o arquivo convertido

Compare o número de colunas e linhas da entrada e da saída e, em seguida, inspecione o cabeçalho, o delimitador, a codificação de caracteres, a representação de valores ausentes e o separador decimal. Abra o CSV com um programa compatível com CSV, pois dividir linhas manualmente quebra campos que contêm vírgulas entre aspas ou quebras de linha.

A conversão não pode transportar metadados ECSV para um arquivo CSV normal. Preserve o ECSV original e registre separadamente as unidades, descrições, proveniência e tipos de dados se forem necessários para a interpretação científica.

Colunas escalares numéricas, de texto e semelhantes a datas geralmente são convertidas diretamente. Colunas multidimensionais, quantidades, colunas mascaradas, valores complexos e objetos personalizados do Astropy podem não ter uma representação CSV portátil única. Achate ou serialize essas colunas explicitamente e verifique os valores resultantes antes de importar o CSV para outro aplicativo.