Databricks/Python Developer Senior | Remote

.

* Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;

* Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;

* Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código; 

* Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;

* Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;

* Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;

* Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;

* Manter documentação técnica abrangente para os processos e soluções implementadas.

* Experiência no desenvolvimento de soluções de dados utilizando Python;

* Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);

* Vivência com processamento, transformação e análise de grandes volumes de dados;

* Experiência com manipulação e tratamento de dados utilizando Pandas;

* Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;

* Experiência com plataformas de nuvem, especialmente Microsoft Azure;

* Conhecimento em práticas de qualidade, integridade e monitoramento de dados;

* Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.

Desejáveis:

* Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;

* Conhecimento em otimização de performance de pipelines e processamento distribuído;

* Familiaridade com documentação técnica de processos, pipelines e soluções de dados.

Benefícios

* Vale-alimentação e/ou vale-refeição;

* Plano de saúde e plano odontológico;

* Plano de saúde para o seu pet;

* Auxílio home office (para vagas remotas);

* Kit de boas-vindas no onboarding;

* Seguro de vida;

* Zenklub, com acompanhamento psicológico e nutricional;

* TotalPass;

* Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);

* Parcerias e descontos para o seu desenvolvimento;

* Acesso ao conteúdo UOL;

* Kit maternidade;

* Licença maternidade e paternidade estendidas; 

* Programa de indicações.