Deepseek IA Development Cust Custa para US $ 1,6 bilhão, desmascarando o mito da acessibilidade

No entanto, ainda é mais barato que seus concorrentes.

O novo chatbot de Deepseek me apresentou com esta descrição intrigante:

Olá, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que pode até surpreendê -lo.

Hoje, a inteligência artificial da Deepseek emergiu como um concorrente formidável no mercado, contribuindo principalmente para uma das maiores quedas de preços das ações da NVIDIA.

Imagem: Ensigame.com

O que distingue esse modelo são seus métodos inovadores de arquitetura e treinamento. Ele aproveita várias tecnologias de ponta:

Previsão com vários toques (MTP): Em vez de prever uma palavra de cada vez, o modelo prevê várias palavras simultaneamente analisando diferentes partes de uma frase. Essa abordagem aumenta significativamente a precisão e a eficiência do modelo.

Mistura de especialistas (MOE): Esta arquitetura emprega várias redes neurais para processar dados de entrada. Acelera o treinamento da IA ​​e melhora o desempenho. Em Deepseek V3, 256 redes neurais são utilizadas, com oito sendo ativados para cada tarefa de processamento de token.

Atenção latente de várias cabeças (MLA): Esse mecanismo ajuda a se concentrar nas partes mais significativas de uma frase. O MLA extrai os principais detalhes dos fragmentos de texto repetidamente, e não apenas uma vez, reduzindo a probabilidade de perder informações importantes. Isso permite que a IA capture nuances cruciais nos dados de entrada com mais eficiência.

A proeminente startup chinesa Deepseek afirma ter criado um modelo competitivo de IA com custos mínimos, afirmando que gastaram apenas US $ 6 milhões no treinamento da poderosa rede neural Deepseek V3 e usou apenas 2048 processadores gráficos.

Imagem: Ensigame.com

No entanto, analistas da semiânica descobriram que a DeepSeek opera uma grande infraestrutura computacional, compreendendo aproximadamente 50.000 GPUs NVIDIA Hopper. Isso inclui 10.000 unidades H800, 10.000 H100s mais avançados e lotes adicionais de GPUs H20. Esses recursos são distribuídos em vários data centers e são utilizados para treinamento, pesquisa e modelagem financeira de IA.

O investimento total da empresa em servidores é de cerca de US $ 1,6 bilhão, com despesas operacionais estimadas em US $ 944 milhões.

A Deepseek é uma subsidiária do fundo de hedge chinês High-Flyer, que saiu da startup como uma divisão separada focada nas tecnologias de IA em 2023. Ao contrário da maioria das startups que alugam o poder de computação de fornecedores de nuvem, a DeepSeek possui seus próprios data centers, oferecendo controle total sobre o otimização do modelo de IA e a implementação mais rápida de inovações. A empresa permanece auto-financiada, o que afeta positivamente sua flexibilidade e velocidade de tomada de decisão.

Imagem: Ensigame.com

Além disso, alguns pesquisadores da Deepseek ganham mais de US $ 1,3 milhão anualmente, atraindo os principais talentos das principais universidades chinesas (a empresa não contrata especialistas estrangeiros).

Mesmo considerando isso, a recente reivindicação da Deepseek de treinar seu modelo mais recente por apenas US $ 6 milhões parece irrealista. Este número refere-se apenas ao custo do uso da GPU durante o pré-treinamento e não explica despesas de pesquisa, refinamento de modelos, processamento de dados ou custos gerais de infraestrutura.

Desde a sua criação, a Deepseek investiu mais de US $ 500 milhões em desenvolvimento de IA. No entanto, diferentemente das empresas maiores sobrecarregadas pela burocracia, a estrutura compacta da Deepseek permite que ela implemente ativamente e efetivamente as inovações de IA.

Imagem: Ensigame.com

O exemplo da Deepseek demonstra que uma empresa independente de IA independente pode competir com os líderes do setor. No entanto, os especialistas enfatizam que o sucesso da empresa se deve em grande parte a bilhões de investimentos, avanços técnicos e uma equipe forte, enquanto as reivindicações sobre um "orçamento revolucionário" para o desenvolvimento de modelos de IA são um pouco exageradas.

Ainda assim, os custos dos concorrentes permanecem significativamente maiores. Por exemplo, compare o custo do treinamento do modelo: Deepseek gastou US $ 5 milhões em R1, enquanto o ChatGPT4O custou US $ 100 milhões.