# S3: Upload multipart do S3 incompleto

> Esta regra identifica uploads multipart incompletos em buckets Amazon S3 que:
>
> * Foram iniciados há mais de 1 dia.
> * Permanecem abertos sem conclusão.
> * Possuem partes já enviadas que continuam ocupando armazenamento.
>
> O objetivo é detectar consumo de storage gerado por uploads abandonados que continuam gerando custo recorrente.

***

**Contexto da regra e impacto no negócio**

O recurso de Multipart Upload do S3 permite que arquivos grandes sejam enviados em partes.

Quando um upload não é finalizado:

* As partes já enviadas permanecem armazenadas.
* O bucket continua sendo cobrado pelo armazenamento dessas partes.
* Não existe objeto final utilizável.
* Não há valor de negócio associado ao custo gerado.

Cenários comuns:

* Interrupções de rede.
* Falhas de aplicação.
* Cancelamento de processos de upload.
* Deploys mal sucedidos.

Impactos financeiros:

* Crescimento silencioso do custo de armazenamento.
* Aumento desnecessário do volume total armazenado.
* Complexidade de governança de dados.

Sem política de lifecycle adequada, esses uploads podem permanecer indefinidamente.

***

**Detalhamento técnico da regra**

A regra executa análise global da conta AWS (S3 é serviço global).

***

**Como a regra é executada**

1. Autentica na conta AWS.
2. Lista todos os buckets via `list_buckets`.
3. Aplica filtros de tag (inclusão/exclusão), se configurados.
4. Para cada bucket:
   * Executa `list_multipart_uploads`.
   * Identifica uploads iniciados há mais de 1 dia.
   * Para cada upload elegível:
     * Executa `list_parts`.
     * Soma o tamanho de cada parte enviada.
5. Consolida:
   * Quantidade total de uploads incompletos.
   * Volume total ocupado (KB, MB, GB, TB).
6. Caso exista volume armazenado, o bucket é sinalizado.

Limite técnico:

* Máximo de 25.000 uploads analisados por bucket.
* Processamento paralelo com até 10 threads.

***

**Lógica aplicada**

Um bucket será sinalizado quando:

* Existirem uploads multipart.
* O campo `Initiated` for superior a 1 dia.
* Existirem partes armazenadas (`Parts`).
* O somatório do tamanho das partes for maior que zero.

***

**Campos analisados**

Bucket:

* `Name`
* `CreationDate`
* `TagSet`

Multipart Upload:

* `Key`
* `UploadId`
* `Initiated`

Partes do upload:

* `Size`

***

**Parâmetros considerados na busca**

APIs utilizadas:

* `s3:ListBuckets`
* `s3:ListMultipartUploads`
* `s3:ListParts`
* `s3:GetBucketTagging`

Condições técnicas:

* Upload iniciado há mais de 1 dia.
* Existência de partes armazenadas.
* Volume acumulado maior que zero.

***

**Período Avaliado (Filtro Temporal)**

Período Avaliado (Filtro Temporal): A regra avalia o campo `Initiated` dos uploads multipart. São considerados uploads iniciados há mais de 15 dia em relação ao momento da execução.

Exemplo: Se um upload foi iniciado ontem e não foi finalizado, ele será analisado na próxima execução caso ultrapasse o limite mínimo de 15 dia.

O intervalo é fixo em 15 dia nesta implementação.

***

**Intervalo de Análise**

Execução padrão: a cada 8 horas.

***

**Cálculo de Savings**

O savings é baseado na eliminação do armazenamento das partes associadas a uploads incompletos.

***

**Fórmula Conceitual**

```
Savings Mensal = Volume Total (GB) × Preço do S3 por GB na Região
```

Onde:

* Volume Total = soma de todas as partes armazenadas.
* Preço por GB = valor do S3 Standard (ou classe correspondente).

***

**Campo de custo utilizado**

No Billing AWS:

* Service: AmazonS3
* Usage Type:
  * TimedStorage-ByteHrs
  * StorageClass (Standard, IA, etc.)
* Line Item Type: Usage
* Campo financeiro considerado:
  * Unblended Cost
  * Ou Amortized Cost

***

**Elementos considerados**

* Volume total em GB.
* Classe de armazenamento do bucket.
* Região do bucket.
* Não há projeção futura automática; trata-se de economia recorrente após abortar os uploads.

***

**Exemplo aplicado ao Billing**

Cenário:

Bucket com:

* 120 uploads incompletos.
* Volume total acumulado: 500 GB.
* Preço médio S3 Standard: $0.023 por GB.

Cálculo:

```
Savings = 500 × 0.023
Savings = $11,50/mês
```

Savings anual:

```
11,50 × 12 = $138
```

***

**Dicas de uso e boas práticas para o usuário**

* Configurar regra de Lifecycle para abortar multipart uploads automaticamente.
* Monitorar buckets com alta taxa de ingestão.
* Investigar aplicações que estejam interrompendo uploads.
* Priorizar buckets com grande volume acumulado.
* Implementar controle de falhas em pipelines de ingestão.

Possíveis falsos positivos:

* Uploads legítimos em processamento muito longo.
* Transferências de arquivos extremamente grandes ainda em andamento.

Recomenda-se validar se o upload está realmente abandonado antes de abortá-lo.