Qué construimos
Un pipeline que, con un solo comando, lee cientos de miles de comentarios crudos y responde tres preguntas: qué narrativas circulan, desde cuándo y quién las empuja. Procesa el set final de 150.000 comentarios en 7 segundos, en una CPU común, con costo de IA de USD 0.
Además de los cuatro archivos de entrega/, genera un panel HTML que se abre con doble clic y una base DuckDB consultable con SQL.
Cómo funciona
- Almacén. DuckDB lee los CSV, descarta filas sucias (sin id, con fechas inválidas o duplicadas) y guarda todo en Parquet comprimido. No hay servidor que levantar.
- Formas canónicas. Cada comentario se reduce a su "forma": sin mayúsculas, tildes, emojis ni typos, y sin las muletillas («la verdad», «posta»), que se aprenden de los propios datos. Así 150.000 comentarios quedan en unas 500 formas, aunque las narrativas cambien de redacción con los días.
- Narrativas y ruido. Se arma un grafo donde dos formas se unen cuando una le responde a la otra de manera repetida. Cada componente es una narrativa, sin fijar de antemano cuántas hay. Lo que nunca entra en una discusión es ruido.
- Postura. Una respuesta con contenido contradice a su padre, así que cada narrativa se divide en dos bandos. Para decidir cuál apoya y cuál rechaza se combinan cuatro evidencias: marcas de réplica, variedad de redacciones, el lado de las cuentas coordinadas y el bando con más voces genuinas.
- Origen. El primer comentario de cada narrativa, con su fecha y su publicación.
- Coordinación. Para cada par de cuentas se cuenta cuántas veces coincidieron en la misma publicación, del mismo lado y en menos de 30 minutos. Coincidir una vez es viralidad; coincidir muchas veces con las mismas cuentas, no. Después se extrae el núcleo denso del grafo (k-core). No depende de texto idéntico, así que también detecta operaciones de cuentas viejas que usan textos variados.
Resultados
- Set de práctica: 55 / 55 en el puntaje automático.
- Set final: 12 narrativas y 3 operaciones coordinadas (100 cuentas) detectadas.
- Velocidad: unos 20.000 comentarios por segundo en un solo proceso, sin GPU.
- Costo: USD 0, sin IA generativa, sin embeddings y sin servicios externos.
- Reproducible: dos corridas dan archivos idénticos byte a byte (lo verifica un test).
Escala
Las etapas costosas son lineales. Para llegar a millones de comentarios por día alcanza con particionar el Parquet por día y mantener los conteos de coincidencias de forma incremental.
Stack
Python · DuckDB · Parquet (PyArrow) · pandas · NumPy · scikit-learn