Guru do Excel e Power BI

Venho fazendo trabalhos que excedem a capacidade do Excel. Minhas planilhas chegam facilmente a 50 Mb e até chegariam a 500 Mb se o Excel não travasse. Algumas destas planilhas tem até mesmo mais 1000 abas, podendo chegar até 2 mil.

Enfim, trabalho com Big Data e BI.

As ferramentas e as fórmulas do excel suprem todas as minhas necessidades. Todas. O problema mesmo é o tamanho do meu trabalho. O software não suporta fazer as operações para uma grande massa de dados.

Como alternativa ao Excel, pensei no seguinte:

Ubuntu + Libre Office (melhor alternativa, mas não atende meus requisitos completamente)
MySQL (possivel alternativa, mas saimos do paradigma declarativo e entramos no imperativo, complicando minha situação e a interface matricial é nada flexivel)
Power BI (pouca flexibilidade, dificil de manipular, fórmulas complicadas e desconhecidas)
Access (inflexivel, poucas fórmulas, poucos recursos)
Pentaho (meu HD nunca mais foi o mesmo depois que eu instalei este virus)

E aí pessoal, como é que vocês veem minha situação. Tem alguma sugestão?

Como é que as grandes empresas de alta tecnologia resolvem seus problemas de BI e Big Data? Não há alternativas simples, poderosas e fáceis? Será que a melhor alternativa é investir num supercomputer?

Já tentou o Power BI, lá você poderá usar os suplementos Power Query (tratar dados), Power Pivot (cálculos) e Power View (Gráficos)?

Abs

Já!

Não gostou? Ele é bem poderoso.

Achei complicado!!! :///

e pq não usar o excel como interface e um banco de dados?
afinal vc não vai precisar de todos os dados a todo momento né
o proprio vba pode ser usado para trazer oq se precisa

se tiver muitos dados que tem que dar resultados com formulas o ideal reanalisar as formulas para manter um bom desempenho, e se possível usar apenas dados estáticos que serão atualizados por macros , muitas formulas crescem muito a planilha e podem deixar ela super pesada

Excel de 50 MB é absurdo, você está trabalhando errado. Os dados devem ficar no banco de dados, excel apenas para análise ou montagem de relatório. A proposta mais obvia seria Access e Excel juntos. Jogue os dados no Access e depois você traz esses dados já tratados e sintetizados para o excel.

o problema nem é tanto o tamanho da planilha e sim oq tem nela
formulas, formatações, e outros objetos podem deixar a planilha bem pesada , sem falar que aumenta bastante o tamanho

eu tenho uma planilha que vai deste 3MB até mais de 120MB mudando muito pouco a performance dela,
eu até cheguei a montar um gerenciador de banco de dados para ela mas não me vi forçado a usar

lembrando que dependendo da formula umas poucas linhas podem deixar a planilha completamente insuportável de usar
formatações não continuas, condicionais ou não , tbm geram um tamanho maior e um peso no uso

então tudo tem que ser pensado , não é só o tamanho da planilha que influencia na sua fluidez

JHenry, boa noite.

Todas as alternativas que você mencionou, são excelentes. A questão que você vai precisar investir tempo em aprendizado de uma nova ferramenta.

Não vai conseguir encontrar nada muito diferente do que já descreveu. Seguem análises:
- Não vejo necessidade de migrar pra o Ubuntu para rodar o LibreOffice, a não se que já detenha um conhecimento desse sistema operacional. Demais usuários, que por ventura utilizam a solução, podem ter dificuldades devido o SO;
- Pentaho e PowerBI tem a entrega final muito parecida. Os dados são manipulado, utilizando cálculo Colunar, como praticamente toda ferramenta de BI faz. No meu entender, os dois são muito bons, mas o PowerBI esta em uma fase de expansão gigantesca, gerando novas atualizações e recursos a cada mês;
- Usando a ideia do Edcronos, você pode usar tanto o Access quanto o MySQL, de acordo com a volume de informações gerada. Particularmente, todo ambiente que realize análises de BI, tendem a ter um volume gigantesco de dados e, por esse motivo, não acho o Access adequado para o caso. No eu lugar, eu seguiria a ideia o Edcronos, aplicando no MySQL ou SQL Server.

Espero ter contribuído um pouco para a discussão. Forte abraço a todos e excelente final de semana.