Importação de CSV no Cloud

Importação de CSV no Contábil para Plano de Contas, Fonte de Recursos e Ementários (receita e despesa)

Como realizar a importação de dados do CSV para os sistemas Cloud​

Esse manual tem como objetivo simplificar a rotina de importação de dados de Plano de Contas, Fonte de Recursos e Ementários (receita e despesa) do formato CSV para o sistema Contábil.

Compreender este processo oferece a vantagem de proporcionar maior agilidade ao cliente, eliminando a necessidade de abrir chamados para o suporte da equipe da Vertical Contábil. Como profissional técnico, você pode otimizar seu tempo ao seguir as etapas apresentadas aqui para realizar essa importação de forma eficiente.

Atenção!

A importação de dados descritos a seguir deve ser realizada apenas uma vez por assunto, estado e exercício. É fundamental estabelecer um consenso entre filiais e revendas para garantir uma importação única. Caso uma segunda importação seja realizada para o mesmo assunto, estado e exercício, os dados da primeira importação serão substituídos pela segunda, se a importação for repetida na mesma entidade. Alternativamente, pode ocorrer uma duplicação de dados se o canal A importar para a entidade X e o canal B importar para a entidade Y.

Diante do exposto, é crucial que a importação por assunto, estado e exercício seja sempre realizada a partir da mesma entidade. Recomenda-se, ainda, que essa importação seja feita a partir da entidade matriz do canal.

Uma exceção a essa regra é o estado de Minas Gerais, que possui uma importação específica por revenda, que está detalhada no final deste manual.

Preenchimento dos dados​ e configuração da estrutura do CSV​

O primeiro passo é o preenchimento dos dados nos arquivos abaixo. Esse preenchimento deve ser realizado pelo profissional técnico que realizará a importação.

• Exemplo CSV de plano de contas;
• Exemplo CSV de ementário de receitas;
• Exemplo CSV de ementário de despesas;
• Exemplo CSV de fonte de recursos.

Cada um dos arquivos possui uma estrutura como modelo de preenchimento em formato CSV.

Importante!

Lembre-se de verificar cuidadosamente o exercício e a unidade federativa (UF) do estado indicado na planilha, de acordo com as informações fornecidas pelo cliente responsável pela solicitação da importação. Além disso, certifique-se de formatar o arquivo para codificação UTF-8 (sem BOM).​

Substituir/remover no arquivo texto, os caracteres:

• Certifique-se de examinar o conteúdo em busca de quebras de linha dentro dos textos ou ao final do arquivo, e remova-as;
• Verifique a presença de tab e substitua por espaços em branco;
• Analise o arquivo em busca de vírgulas nos textos e remova-as, visto que a vírgula é específica à separação das colunas;
• Preste atenção à presença de aspas duplas ou simples no meio dos textos e remova-as, uma vez que esses caracteres devem figurar apenas no início e no fim das colunas de texto.

Criação dos scripts para verificação dos dados​

Os scripts apresentados a seguir podem ser gerados em qualquer entidade do estado correspondente para a verificação dos dados importados. Para acessar o Gerenciador de scripts, utilize o menu Utilitários no sistema Contábil. Clique no botão + Script e insira um título. Em seguida, copie e cole o script conforme os exemplos fornecidos abaixo, complementando o estado e o ano de acordo com os dados importados.

Fonte de dados para Plano de Contas:

Unset

dadosPlanoContasPadronizadoTC = Dados.contabilidade.v1.planoContasPadronizadoTC.busca(campos: "funcao, uf, tipo, exclusao, numero, inclusao, alteracao, numeroInicial, exercicio, descricao, grau",parametros:["_uf":'SC',"exercicio":2023])
percorrer (dadosPlanoContasPadronizadoTC) { itemPlanoContasPadronizadoTC ->
imprimir itemPlanoContasPadronizadoTC 
}

Fonte de dados para Ementário de Receitas:

Unset

dadosNaturezasReceitasPadronizadasTC = Dados.contabilidade.v1.naturezasReceitasPadronizadasTC.busca(campos: "funcao, uf, tipo, exclusao, numero, inclusao, alteracao, numeroInicial, exercicio, descricao, grau",parametros:["_uf":'SC',"exercicio":2023])
percorrer (dadosNaturezasReceitasPadronizadasTC) { itemNaturezasReceitasPadronizadasTC ->
imprimir itemNaturezasReceitasPadronizadasTC
}

Fonte de dados para Ementário de Despesas:

Unset

dadosNaturezasDespesasPadronizadasTC = Dados.contabilidade.v1.naturezasDespesasPadronizadasTC.busca(campos: "funcao, uf, tipo, exclusao, numero, inclusao, alteracao, numeroInicial, exercicio, descricao, grau",parametros:["_uf":'SC',"exercicio":2023])
percorrer (dadosNaturezasDespesasPadronizadasTC) { itemNaturezasDespesasPadronizadasTC ->
imprimir itemNaturezasDespesasPadronizadasTC
}

Fonte de dados para Fonte de Recursos:

Unset

dadosRecursosPadronizadosTC = Dados.contabilidade.v1.recursosPadronizadosTC.busca(campos: "funcao, uf, exclusao, numero, inclusao, alteracao, numeroInicial, exercicio, descricao, grau",parametros:["_uf":'SC',"exercicio":2023])
percorrer (dadosRecursosPadronizadosTC) { itemRecursosPadronizadosTC ->
imprimir itemRecursosPadronizadosTC
}

Importante!

Antes da importação dos dados, execute o script e repita o processo após a importação. Essa ação possibilitará a realização de uma análise comparativa entre os dados, garantindo que realmente foram importados.

Realizar o POST para fonte com os arquivos em CSV​

Ao concluir a configuração do arquivo CSV e executar o script, é chegada a etapa da importação (POST) dos dados. Recomenda-se utilizar uma ferramenta de sua escolha.

Neste exemplo, utilizamos a extensão do Chrome: Talend API Tester - Free Edition.

METHOD​

No campo Method selecione a opção POST e informe o endereço desejado:

• Plano de Contas: https://ctb-fontes-dados.betha.cloud/contabilidade/fontes-adicionais/configuracoes/planoContasPadronizadoTC/dados.

• Ementário de Receitas: https://ctb-fontes-dados.betha.cloud/contabilidade/fontes-adicionais/configuracoes/naturezasReceitasPadronizadasTC/dados.

• Ementário de Despesas: https://ctb-fontes-dados.betha.cloud/contabilidade/fontes-adicionais/configuracoes/naturezasDespesasPadronizadasTC/dados.

• Fonte de Recursos: https://ctb-fontes-dados.betha.cloud/contabilidade/fontes-adicionais/configuracoes/recursosPadronizadosTC/dados.

O texto destacado em vermelho deve sempre ser substituído pela fonte de dados relacionada ao CSV, que será importado.

HEADERS​

Com duas variáveis, Authorization e Content-Type, você deve informar respectivamente o token de migração e multipart/form-data.

BODY​

Ao lado direito do BODY selecione o tipo Form e clique em + Add form parameter para adicionar dois formatos: dados e parâmetros.

No primeiro deles, dados, selecione no segundo campo a opção File e após, adicione o arquivo configurado que possui os dados da entidade, conforme os arquivos do exemplo acima citados.

Em seguida, ao inserir o segundo formato, parâmetros, selecione também a opção File e adicione o arquivo em formato JSON, conforme abaixo.

• Exemplo CSV de parâmetros.

Importante!

Atente-se com o exercício de importação!​

Tanto os CSVs como o arquivo parametros.json possuem o exercício informado, que deve ser alterado conforme o ano de importação dos dados. Por exemplo, se você importar o CSV do Plano de Contas de 2023, o JSON deverá ter o mesmo exercício.

Realizado o POST, finalize o processo de importação do CSV executando novamente o script criado no sistema que recebeu os dados do exercício em questão. Para visualizar o resultado, basta clicar em Outras opções > Log execução.

Controle específico para o estado de Minas Gerais para importação dos dados por revenda

Devido à particularidade da importação dos dados ocorrer por revenda, diferentemente dos demais estados que seguem a lógica por estado, fornecemos instruções específicas sobre como fazer a importação dos arquivos CSVs para atender a essa demanda específica de Minas Gerais.

Na segunda coluna dos arquivos que é a UF, deve ser concatenado a UF o identificador da revenda conforme abaixo:

• ASI_MG;
• CMM_MG;
• CSM_MG;
• SOLUCAO_MG.

Veja um exemplo:

No caso de um consenso entre duas ou mais revendas para utilizar conjuntamente os mesmos dados na importação, simplifica-se o procedimento. Nesse cenário, basta realizar o compartilhamento dos arquivos CSV entre as partes envolvidas, permitindo que cada revenda execute o processo de importação de forma independente.

Como realizar a importação de dados do CSV para os sistemas Cloud

O conteúdo abaixo apresenta de forma simples a rotina de como realizar a importação de dados de exercícios anteriores oriundos do CSV para os sistemas da linha Cloud: Contábil e Planejamento.

Conhecer esse processo possibilita dar mais agilidade nas emissões dos relatórios ou demonstrativos legais pelo cliente ao dispensar a abertura de chamado para apoio da equipe da Vertical Contábil. Afinal, você profissional técnico, pode otimizar tempo ao realizar essa importação seguindo apenas as etapas aqui apresentadas.

Dica!

Antes de realizar todos o processo de importação de dados anteriores em CSV para os sistemas Cloud, é importante conhecer uma das grandes melhorias realizadas nas emissões dos relatórios da LRF, a qual tem por objetivo realizar a busca de informações diretamente nas APIs da STN.

Na tela de parâmetros para a emissão, estão disponibilizadas as opções Sim e Sim (atualizado) no campo Consolidado. Ao selecionar a primeira opção Sim, o sistema realizará a busca dos dados de anos anteriores diretamente no Siconfi.

Vale ressaltar que essa busca dos dados transmitidos ao Siconfi garante a inalterabilidade dos retroativos, maior performance na emissão do relatório e agilidade nas implantações do sistema, visto que não serão mais necessários uploads de planilhas para implantação dos relatórios da LRF RREO do ano anterior.

Para tanto, ao selecionar a opção Sim (atualizado), além de considerar todas as entidades do município, para a emissão de valores de anos anteriores, o sistema realiza a busca dos dados alimentados nele mesmo. Logo é necessário efetuar todo o processo de importação descrito abaixo.

Informação!

Os demonstrativos legais que já possuem essas melhorias são:

• RREO

  Anexo 03 - Demonstrativo da Receita Corrente Líquida;
  Anexo 06 - Demonstrativo dos Resultados Primário e Nominal.
  

• RGF

  Anexo 01 - Demonstrativo da Despesa com Pessoal;
  Anexo 02 - Demonstrativo da Dívida Consolidada Líquida.
  

Preenchimento dos dados

Conforme já citado no início dessa página, as orientações aqui apresentadas têm o objetivo de auxiliar você na importação dos dados de exercícios anteriores dos sistemas Desktop, em formato CSV, para os sistemas Cloud: Contábil e Planejamento.

Para isso o primeiro passo é o preenchimento dos dados nos arquivos abaixo de forma consolidada. Esse preenchimento pode ser realizado pelo cliente ou pelo profissional técnico que realizará a importação.

• CSV de Exercícios Anteriores - Contábil

• CSV de Exercícios Anteriores - Planejamento

Cada um dos arquivos, possui uma guia com orientações gerais, bem como, o modelo de preenchimento de cada demonstrativo legal em formato CSV referente ao Desktop e que possui fonte de dados disponível para o Cloud.

Ainda na guia Orientações gerais, observe a existência de duas listagens, as quais representam o relacionamento entre o demonstrativo do Desktop com a fonte dados do Cloud.

No arquivo de preenchimento para a importação no sistema Contábil tem-se os seguintes CSV e fontes de dados:

• CSV_Pessoal: Anexo 01 - Demonstrativo da Despesa com Pessoal / fonteLrfRgfAnexoPessoalAnteriores;

• CSV_RCL: Anexo 03 - Demonstrativo da Receita Corrente Líquida / fonteLrfRreoAnexoRclAnterioresAtualizada;

• CSV_RCLtotal: Anexo 02 - Demonstrativo da Dívida Consolidada Líquida / fonteRCLTotal;

• CSV_DCL: Anexo 02 - Demonstrativo da Dívida Consolidada Líquida / fonteAnexoDividaConsolidadaLiquida;

• CSV_RPPS: Anexo 4 - Demonstrativo das Receitas e Despesas Previdenciária / fonteAnexoDemonstrativoReceitasDespesasPrevidenciariasRPPS;

• CSV_RESULT_PRIM: Anexo 06 - Demonstrativo dos Resultados Primário e Nominal / fonteLrfRreoAnexoResultadoPrimarioNominal;

• CSV_BP: Anexo 14 - Balanço Patrimonial / fonteDadosBalancoPatrimonialAnoAnterior;

• CSV_DVP: Anexo 15 - Demonstrativo das Variações Patrimoniais / fonteAnexoDemonstracaoVariacoesPatrimoniaisDVP;

• CSV_BF: Anexo 13 - Balanço Financeiro / fonteDadosBalancoFinanceiroAnoAnterior;

• CSV_DFC: Anexo 18 - Demonstração dos Fluxos de Caixa / fonteAdicionalAnexoFluxoDeCaixa.

Já no arquivo de preenchimento para a importação no sistema Planejamento tem-se os seguintes CSV e fontes de dados:

• CSV_MetodologiaMetasFiscaisExercicioAnterior / fonteLdoLrfMetodologiaResultadoPrimario;

• CSV_MetasFiscaisExercicioAnterior / fonteLrfLdoMetasFiscaisExercicioAnterior;

• CSV_MetasFiscaisEvolucaoPatrimonioLiquido / fonteLdoLrfEvolucaoPatrimonioLiquido;

• CSV_MetasFiscaisAlienacaoBens / fonteLdoLrfAlienacaodeAtivos;

• CSV_MetasFiscaisReceitasDespesasdoRPPS / fonteLdoLrfReceitasDespesasRPPS;

• CSV_Evolucao da Receita / fonteAdicionalEvolucaoReceita;

• CSV_Evolucao da Despesa/ fonteAdicionalEvolucaoDespesa

Importante!

Lembre-se de conferir o código da entidade informado na planilha conforme o cliente responsável pela solicitação da importação.

Configuração da estrutura do CSV

Após o preenchimento da planilha (arquivo modelo) com valores consolidados, você deverá iniciar a configuração da estrutura do arquivo CSV que será importado.

Substituir os dados configurados nos arquivos exemplos disponibilizados

Após o preenchimento com dados consolidados de cada guia da planilha (CSV de Exercícios Anteriores - Contábil e CSV de Exercícios Anteriores - Planejamento), você deverá realizar a cópia desses dados para cada um dos arquivos disponibilizados nas pastas abaixo. Para tanto, essa substituição deve acontecer por meio de algum programa editor de texto, como por exemplo Notepad++.

• CSVs de exemplo Contábil;

• CSVs de exemplo Planejamento.

Faça o download, perceba que cada pasta possui os CSVs separados, nos quais os dados deverão ser copiados.

Então abra um dos CSVs exemplo por meio do programa editor de texto e substitua os dados presentes nele pelos dados da entidade. Veja pelo vídeo abaixo que o cabeçalho do TXT não é substituído pelo da planilha que contém os dados, pois caso seja substituído é possível que ocorra erros na importação. Posteriormente, inicie a configuração conforme os itens abaixo para que somente após você consiga efetuar o POST no sistema.

Informação!

Se todas as linhas apresentarem valor igual a zero, não é necessário realizar a importação.

É importante fazer uso de substituições dos dados nesses arquivos exemplos em CSV, presentes na pasta disponibilizada acima. De acordo com testes e importações já realizadas em outras entidades, o sistema considera alguma configuração ou parâmetro já realizado nos mesmos.

Substituir no arquivo texto os caracteres:

• . (ponto) para vazio; <br;>
• , (vírgula) para . (ponto); <br;>
• tab para ,(vírgula). <br;>

Verifique a existência de quebra de linha ao final do arquivo e retire-a.

Formate o arquivo para Codificação em UTF-8 (sem BOM).

Criação do script para verificação dos dados

Antes de realizar a importação dos arquivos configurados, o script demonstrado abaixo deverá ser criado na entidade que receberá os dados, ou seja, geralmente na prefeitura.

Fonte:

fonteDadosCSV = Dados.contabilidade.v1.fonteLrfRreoAnexoRclAnterioresAtualizada;
anoExercicio = 2020;
campos = "valor,linha,exercicio";

for( entid in Dados.contabilidade.v1.entidades.busca(campos : "id,nome")){\
def fonte = fonteDadosCSV.busca(campos: campos, parametros:["entidadeId":entid.id,"exercicio":anoExercicio]).collect{it}\
for(linha in fonte){\
imprimir linha\
}\
}

Acesse o Gerenciador de scripts por meio do menu Utilitários no sistema que receberá os dados. Utilize o botão + Script e insira apenas um título. Após, copie e cole o script (modelo) disponibilizado logo abaixo em arquivo texto e substitua a fonte de dados e o ano conforme o arquivo CSV que está sendo importado. 

Clique aqui e tenha acesso ao Script Modelo - Fonte CSV Relatórios

Execute o script antes da importação dos dados e após. Isso possibilitará a realização de uma análise comparativa entre os dados e se realmente foram importados.

Realizar o POST para fonte com os arquivos em CSV

Por fim, após realizar o preenchimento dos dados, configurar o arquivo CSV, criar e executar o script, é o momento de realizar a importação (POST) do dados.

Utilize o programa desejado, nessa demonstração será utilizada a extensão do Chrome: Talend API Tester - Free Edition.

METHOD

No campo Method selecione a opção POST e informe o seguinte endereço.

O texto grifado em vermelho sempre deverá ser substituído pela fonte de dados relacionada ao CSV que será importado. Lembre-se que cada fonte está listada e possui seu relacionamento com o CSV demonstrado na guia Orientações gerais da planilha do Contábil e Planejamento.

HEADERS

Com duas variáveis, Authorization e Content-Type você deverá informar respectivamente o token de migração e multipart/form-data.

É importante que você utilize o token de apenas uma entidade e de preferência da Prefeitura, pois realizar mais de uma importação com token de mais de uma entidade, ocasionará inconsistência na emissão dos relatórios. 

BODY

Ao lado direito do BODY selecione o tipo Form e clique em + Add form parameter para adicionar dois formatos: dados e parametros.

No primeiro deles, dados, selecione no segundo campo a opção File e após, adicione o arquivo configurado que possui os dados da entidade, presente na pasta CSVs de Exemplo Contábil ou CSVs de exemplo Planejamento. 

Em seguida ao inserir o segundo formato, parametros, selecione também a opção File e adicione o arquivo em formato json, também presente nas pastas já citadas.

Atente-se com o exercício de importação!

Tanto o script como o arquivo em formato json possuem o exercício informado, que deve ser alterado conforme o ano de importação do dados, por exemplo, se você importar o CSV do Balanço Patrimonial de 2020, 2019 e 2018, os jsons deverão ter seus exercícios alterados conforme cada ano de importação.

Para realizar a alteração do exercício, localize o arquivo parametros2020.json nas pastas CSVs de Exemplo Contábil ou CSVs de exemplo Planejamento, o qual deve ser aberto em um programa editor de texto.

Realizado o POST, finalize o processo de importação do CSV executando novamente o script criado no sistema que recebeu os dados do exercício anterior. Para visualizar o resultado, basta clicar em Outras opções > Log execução.

CSV para envio ao Transparência Fly

As configurações e verificações abaixo são de suma importância para o envio das cargas ao Transparência Fly com sucesso. Erros como problema na importação da tabela EmpenhosAnteriores em que não foi possível inserir os valores, são exemplos de configurações e alimentação da fonte DadosDespesasRestosDesktopCSV.busca de forma equivocada. Acompanhe as orientações.

Parâmetros no Contábil

A partir do momento que o ente migrou ou implantou o Contábil e iniciará o envio do Cloud para o Transparência Fly, o campo Exercício do primeiro envio deverá ser preenchido com o ano que realmente serão enviadas as informações ao portal. Então, se a entidade foi migrada em novembro de 2022, mas os dados de envio ao Transparência serão desde 2021, a data a ser preenchida no campo será 2021. Se o envio será somente dos dados de 2022, então o preenchimento será com esse exercício. Vale destacar ainda, que ao informar o exercício, a data a ser considerada é sempre 01/01.

Importante!

Uma vez informado o exercício e enviados os dados ao portal, não poderá ser alterado sem que seja verificada a necessidade de chamado para excluir os dados enviados incorretamente. É nesse campo Exercício que o script Dados Empenhos Anteriores se baseia para buscar a data e realizar os envios.

Dados Contabilidade x Contábil

Em hipótese alguma, em um mesmo exercício poderá ocorrer envio de dados ao Transparência pelo Desktop e pelo Cloud. O erro Problema na importação da tabela 'EmpenhosAnteriores' não foi possível inserir os valores também ocorrerá caso a configuração e o alinhamento com a entidade não tenham sido realizados corretamente.

Então a revenda ou filial deverá verificar com a entidade o ano de corte de envio do Desktop e a partir do exercício seguinte, enviar os dados somente pelo Cloud.

Existem dados do Desktop e Cloud no Transparência Fly para um mesmo exercício. Como corrigir?

Deve ser verificado qual o envio permanecerá:: Desktop ou Cloud. Após alinhamento com a entidade e exercício corte, deve ser enviado um chamado de Tratamento de Dados ao Transparência Fly para exclusão. Em seguida, pode-se enviar uma carga do sistema correto. Caso não envie os dados, deve-se abrir chamado ao Contábil para fazermos uma carga de dados pelo Contábil.

Uma situação muito comum é a entidade possuir migração do Desktop para o Cloud durante o ano de 2022 e informar o ano de 2021 no campo Exercício do primeiro envio. Logo, são enviados dados de 2021 do Cloud, sendo que já existem dados do Desktop no portal. Nesse caso, deve ser decidido se os dados permanecem do Desktop ou do Cloud. Se for a primeira opção, o exercício informado no campo do Contábil deverá ser alterado para 2022 e em ambos os casos o tratamento deverá ser enviado para a exclusão dos dados e execução de carga inicial.

Alimentação da fonte de dados DadosDespesasRestosDesktopCSV.busca

Outra verificação é a fonte de dados supracitada. Por meio dela o script Dados Empenhos Anteriores busca as informações cadastrais de restos a pagar e envia ao portal. Esse script efetua uma checagem entre o ano informado no campo Exercício do primeiro envio e ano alimentado na fonte de dados.

É sabido que essa fonte é alimentada pela migração, com as informações da despesa, como o ID por exemplo. Esse ID deve ser o mesmo existente no Contabilidade (Desktop), bem como o mesmo que consta no Cloud, por isso o relacionamento. Em relação a essa fonte de dados podem haver duas situações:

• Se a fonte DadosDespesasRestosDesktopCSV.busca é alimentada em 2021, mas a data do parâmetro/campo Exercício do primeiro envio está como 2022, o sistema não encontra o relacionamento, pois é possível que tenha ocorrido o cenário dos itens anteriores, ou seja, dados de 2021 enviados pelo Desktop e pelo Cloud por meio da migração. Se houve envio de ambos os sistemas, a correção será por meio de Tratamento de Dados, no qual será excluído os dados e enviada nova carga. Se não houve envio de ambos, mas apenas alimentação com o ano errado na fonte, a revenda ou filial deverá alimentar corretamente a fonte novamente.

• Se essa fonte foi alimentada em 2022 e a data do parâmetro/campo Exercício do primeiro envio também está como 2022, então deve ser verificado os IDs das despesas, recursos e empenhos que constavam no Desktop e quais constam no Cloud. Lembre-se! Eles devem ser os mesmos. Nesse caso a revenda ou a filial deverá corrigir os IDs dos empenhos de anos anteriores via Service Layer, ou se os cadastros físicos estão com os IDs corretos, verificar e corrigir a fonte novamente com os ID do Desktop.

A partir dessa publicação, o centro de suporte, revenda e filial deverão verificar as orientações acima e após, se o erro persistir, o chamado poderá ser enviado ao desenvolvimento.