A tokenização das letras no processo de treinamento de um modelo de IA para criar poesia usando as técnicas TensorFlow e NLP atende a vários propósitos importantes. A tokenização é uma etapa fundamental no processamento de linguagem natural (NLP) que envolve a divisão de um texto em unidades menores chamadas tokens. No contexto das letras, a tokenização envolve dividir as letras