La implementación de sistemas de Generación Aumentada por Recuperación (RAG) en entornos académicos y bibliotecarios ha aumentado significativamente en los últimos años, impulsada por la integración de modelos de lenguaje de gran tamaño (LLM) con bases de conocimiento estructurado. Sin embargo, su eficacia depende de la calidad del contexto recuperado. Cuando los documentos recuperados son irrelevantes, sesgados o ruidosos, la respuesta generada —aunque lingüísticamente coherente— puede generar afirmaciones erróneas que comprometen la credibilidad epistémica del sistema en contextos de investigación científica, donde la veracidad documental es indispensable.

Los LLM producen respuestas con fluidez sintáctica que simula autoridad. Cuando se les proporciona un contexto inadecuado —por ejemplo, un artículo sobre dinámica de fluidos en lugar de teoría cuántica de campos— pueden integrar terminología técnica, estructuras lógicas y referencias aparentemente válidas, generando una narrativa internamente coherente. Esta coherencia actúa como heurística de credibilidad para usuarios sin conocimiento técnico sobre la arquitectura del sistema. En entornos bibliotecarios de alta exigencia cognitiva, donde los usuarios poseen conocimiento previo del dominio, dicha coherencia se convierte en un sesgo: la respuesta parece correcta, pero es falsa por omisión o distorsión contextual.

Esta dinámica refleja una limitación fundamental de los LLM: la inserción de información externa no implica internalización del conocimiento (Lu et al., 2026). El modelo ejecuta instrucciones sin comprenderlas; si el contexto es erróneo, la salida será incorrecta, pero con apariencia de legitimidad. En el caso de usuarios bibliotecarios, esta falsa legitimidad puede derivar en citas inexactas, marcos teóricos defectuosos o el rechazo de fuentes válidas por desalineación con la narrativa generada. La confianza deja de basarse en la evaluación crítica del usuario y se desplaza hacia la autoridad performativa del sistema.

El profesional de la información como agente crítico

En los modelos tradicionales de servicio bibliotecario y documental, la confianza se fundamentaba en la selección y organización realizada por el profesional. En los sistemas RAG, esa confianza se externaliza al algoritmo, sin transparencia sobre su proceso de justificación. El documentalista —especialmente en investigación avanzada— no actúa como consumidor pasivo, sino como agente que busca validación, no solo información. Su confianza se construye sobre tres dimensiones: coherencia con el conocimiento previo, trazabilidad de las fuentes y consistencia intertextual.

Un estudio reciente en bibliotecas de ciencias físicas mostró que, aunque el 87% de los usuarios consideró “útil” las respuestas generadas, solo el 41% las consideró “confiables para citar en publicaciones revisadas por pares” (Jat, Ghosh & Suresh, 2026). Esta brecha entre utilidad y credibilidad indica que la percepción de confianza no depende únicamente de la precisión factual, sino de la capacidad del sistema para reconocer sus límites. Cuando el contexto es irrelevante pero el LLM responde con certeza absoluta, se genera disonancia cognitiva: el sistema actúa como si poseyera conocimiento, pero su salida contradice el saber disciplinar del usuario.

Esta disonancia no se resuelve con mayor cantidad de datos, sino con metadatos de incertidumbre. Una propuesta reciente sugiere que, al detectar contextos heterogéneos, contradictorios o con baja similitud semántica con la consulta, el sistema debe generar respuestas calificadas por incertidumbre, no por afirmación dogmática (Monteiro et al., 2026). En entornos bibliotecarios, esto podría expresarse como: “Los documentos recuperados presentan discrepancias en la definición del término X. Se recomienda consultar las fuentes originales [enlaces]”.

Métricas de confianza contextual: más allá de la exactitud factual

Las métricas tradicionales de evaluación de RAG —exactitud, cobertura, ROUGE, BLEURT— no capturan la confianza del usuario. Se requiere un marco que integre dimensiones cognitivas, epistémicas y pragmáticas. Se proponen cuatro métricas contextualmente fundamentadas:

  1. CE (Coherencia Epistémica)
  2. CT (Consistencia de Trazabilidad)
  3. PI (Percepción de Integridad)
  4. RR (Resistencia al Ruido)

Estas métricas son complementarias, no excluyentes. La CE y la CT operan en el plano de la veracidad objetiva; la PI captura la experiencia subjetiva del usuario; la RR evalúa la resistencia ante condiciones adversas —una característica crítica en bibliotecas donde las bases de datos pueden estar incompletas, mal indexadas o sesgadas por la disponibilidad desigual de publicaciones en inglés.

Arquitectura de confianza contextual

La implementación de estas métricas exige una reconfiguración del pipeline RAG. Mejorar el retriever con técnicas como la inicialización de tokens o la optimización de softmax no es suficiente. Se requiere un módulo de evaluación de confianza que actúe como observador epistémico entre la recuperación y la generación. Este módulo debe evaluar no solo la pertinencia de los contextos, sino su consistencia interna y su alineación con el perfil cognitivo del usuario.

La arquitectura UniDriveVLA (Li et al., 2026) —que unifica percepción, comprensión y acción en sistemas autónomos— ofrece una analogía útil. En RAG, la “percepción” corresponde a la recuperación de documentos, la “comprensión” a la interpretación semántica del contexto y la “acción” a la generación de la respuesta. Si la percepción es ruidosa y la comprensión asume su validez, la acción será errónea. Un sistema de confianza contextual debe interrumpir este flujo cuando detecta incoherencia entre los tres niveles.

La integración de agentes especializados —como en el modelo del Self Driving Portfolio (Ang, Azimbayev & Kim, 2026)— permite una revisión crítica interna: un agente verifica la trazabilidad de las citas, otro compara la respuesta con metadatos de citaciones reales en Scopus o Web of Science, y un tercero evalúa si el tono es excesivamente dogmático. Esta arquitectura multi-agente no solo mejora la calidad del resultado, sino que genera transparencia procesal percibida como confiabilidad por el usuario.

La ética de la confianza en sistemas automatizados

La confianza en un sistema RAG es un contrato epistémico. Cuando un usuario bibliotecario consulta el sistema, asume que actúa con integridad intelectual: no oculta limitaciones, no fabrica autoridad y no sustituye la crítica por la automatización. La presencia de contextos irrelevantes no es un error técnico menor; es una violación de ese contrato.

Una propuesta reciente puede reinterpretarse como un modelo de atribución epistémica (Aboeleneen et al., 2026): si múltiples agentes contribuyen a la respuesta, ¿Cómo se asigna el crédito? En RAG, cada documento recuperado debería portar una “huella de credibilidad”: no solo su fuente, sino su historial de precisión en consultas similares, su nivel de consenso en la comunidad académica y su alineación con el perfil del usuario.

La confianza no se otorga; se construye. En un entorno donde los modelos de lenguaje generan respuestas más convincentes que las humanas, la responsabilidad recae en quienes diseñan los sistemas: no basta con que sean precisos, deben ser honestos. La ausencia de ruido no es suficiente; se requiere transparencia. La confianza del usuario bibliotecario no se gana con más datos, sino con menos certeza falsa.

Implementación práctica: el módulo de verificación epistémica (MVE)

Para traducir la teoría de la confianza contextual en una acción operativa, se propone la implementación de un Módulo de Verificación Epistémica (MVE), un componente autónomo que se inserta entre el retriever y el generador en el pipeline RAG. El MVE no reemplaza la recuperación, sino que la interrumpe, califica y recomienda acciones basadas en la calidad epistémica del contexto. Su diseño sigue tres principios: transparencia procesal, revisión cruzada y adaptabilidad disciplinar.

Proceso de implementación (5 pasos):

  1. Configurar el retriever con metadatos ricos y ontologías disciplinares. Utilizar bibliotecas como Sentence Transformers (con modelos como all-MiniLM-L6-v2) para embeddings, pero anclar los documentos a ontologías específicas del dominio (por ejemplo, OWL 2 basadas en Dublin Core y BIBFRAME). Cada documento recuperado debe incluir metadatos de consenso: número de citas en Scopus, año de publicación, presencia en repositorios institucionales certificados (como arXiv o PubMed Central), y nivel de consenso según niveles de evidencia de Cochrane adaptados a ciencias sociales y humanidades.
  2. Implementar un validador de trazabilidad mediante embeddings y SPARQL. Para cada afirmación generada por el LLM, extraer entidades clave (personas, conceptos, teorías) y validar su presencia en los documentos recuperados mediante similitud semántica y consulta a una base de conocimiento RDF. Ejemplo en Python con rdflib y sentence-transformers:
from sentence_transformers import SentenceTransformer
from rdflib import Graph, Namespace, URIRef, Literal
from rdflib.namespace import RDF, RDFS
import numpy as np

# Cargar modelo de embeddings
model = SentenceTransformer('all-MiniLM-L6-v2')

# Definir ontología disciplinar (ej. física teórica)
PT = Namespace("http://example.org/physics-theory#")

# Ejemplo: grafo RDF con conceptos validados
g = Graph()
g.parse("physics_theory_ontology.ttl", format="turtle") # Archivo con definiciones consensuadas

def validate_claim(claim_text, retrieved_docs):
"""
Valida una afirmación comparándola con una ontología RDF
y calculando la similitud semántica con los documentos recuperados.
"""
# 1. Generar embedding de la afirmación
claim_emb = model.encode([claim_text])[0]
# 2. Extraer entidades de la afirmación (función de NER personalizada)
entities_in_claim = extract_entities(claim_text)
# 3. Validar cada entidad en el grafo RDF
valid_entities = []
for entity in entities_in_claim:
q = f"""
SELECT ?concept WHERE {{
?concept rdfs:label "{entity}"@en .
}}
"""
results = g.query(q)
if list(results):
valid_entities.append(entity)
# 4. Calcular similitud coseno entre afirmación y documentos recuperados
doc_texts = [doc['text'] for doc in retrieved_docs]
doc_embeddings = model.encode(doc_texts)
# Cálculo vectorial de similitud
similarities = np.dot(doc_embeddings, claim_emb) / (
np.linalg.norm(doc_embeddings, axis=1) * np.linalg.norm(claim_emb)
)
# 5. Evaluación de umbrales de confianza
entity_ratio = len(valid_entities) / len(entities_in_claim) if entities_in_claim else 0
mean_similarity = np.mean(similarities)
if entity_ratio < 0.6 or mean_similarity < 0.4:
return {
"status": "low_trust",
"reason": "Entidades no validadas o baja coherencia semántica",
"recommended_action": "Consultar fuentes originales"
}
else:
return {
"status": "high_trust",
"reason": "Afirmación alineada con ontología y contexto relevante"
}

# Ejemplo de uso
# resultado = validate_claim("La función de onda colapsa por observación", retrieved_documents)

Tabla 1. Muestra del proceso de implementación

  1. Integrar un agente de incertidumbre basado en LLMs pequeños. Utilizar modelos ligeros como Phi-3-mini o Gemma-2-2B para evaluar el tono de la respuesta generada. Este agente clasifica si la respuesta es dogmática (“es cierto que...”), hedónica (“podría sugerirse que...”) o incierta (“no hay consenso sobre...”). Se entrena con un conjunto de 500 respuestas etiquetadas por expertos bibliotecarios en ciencias exactas y humanas.
  2. Aplicar reglas de activación de advertencia. Definir umbrales operativos para desencadenar alertas al usuario. Estos umbrales se calibran por disciplina mediante un panel de expertos y se actualizan trimestralmente. Por ejemplo:
  3. Si CE < 0.65 → Mostrar advertencia: “La respuesta contradice el consenso en [X] fuentes clave.”
  4. Si CT < 0.55 → “Las citas no se apoyan en los documentos recuperados.”
  5. Si PI < 3/7 (según encuesta de usuario) → Incluir automáticamente: “Este resultado requiere verificación en fuentes primarias.”
  6. Generar reportes de auditoría epistémica en JSON-LD. Cada respuesta RAG debe acompañarse de un metadato de auditoría en formato JSON-LD, accesible por API, que detalle:
  7. Documentos recuperados con sus IDs y fuentes (DOI, ISBN, URI)
  8. Entidades validadas en la ontología
  9. Similitud promedio entre afirmación y contexto
  10. Nivel de incertidumbre percibido (bajo/medio/alto)
  11. Recomendaciones de fuentes alternativas (basadas en historial de citaciones reales en Scopus)
{
"@context": "https://schema.org",
"responseId": "rag-2025-04-17-001",
"trustScore": 0.48,
"evidence": [
{
"source": "https://doi.org/10.1038/s41567-023-02200-1",
"validEntity": false,
"semanticSimilarity": 0.32,
"consensusLevel": "low"
}
],
"recommendations": [
"Consultar: Smith et al. (2021), Physical Review Letters, doi:10.1103/PhysRevLett.127.150401"
],
"uncertaintyStatement": "No existe consenso sobre la interpretación de X en el contexto de Y."
}

Tabla 2. Ejemplo simplificado de reporte de auditoría en formato JSON-LD

El MVE puede integrarse como un microservicio en plataformas bibliotecarias existentes (como Koha, Libero o DSpace) mediante APIs REST o Webhooks. Su implementación no requiere reemplazar el LLM, sino añadir una capa de verificación crítica que transforme la respuesta de “autoridad silenciosa” en “asistente responsable”.

En bibliotecas universitarias con acceso a Scopus o Web of Science, se puede automatizar la actualización de las “huellas de credibilidad” mediante scripts diarios que consulten APIs de Elsevier y Clarivate para registrar el número de citas, autores institucionales y presencia en repositorios abiertos. Esta dinámica convierte al sistema RAG no en un reemplazo del bibliotecario, sino en su extensión cognitiva: un asistente que amplifica su juicio crítico, no lo sustituye.

Referencias

  1. Aboeleneen, A.; Abdallah, M.; Erbad, A.; Salem, A. (2026). CIVIC: Cooperative Immersion Via Intelligent Credit-sharing in DRL-Powered Metaverse. arXiv preprint arXiv:2604.02284. https://doi.org/10.48550/arXiv.2604.02284
  2. Ang, A.; Azimbayev, N.; Kim, A. (2026). The Self Driving Portfolio: Agentic Architecture for Institutional Asset Management. arXiv preprint arXiv:2604.02279. https://doi.org/10.48550/arXiv.2604.02279
  3. Jat, T.; Ghosh, T.; Suresh, K. (2026). Retrieval-Augmented Question Answering over Scientific Literature for the Electron-Ion Collider. arXiv preprint arXiv:2604.02259. https://arxiv.org/abs/2604.02259
  4. Lu, Z.; Yao, Z.; Wu, J.; Han, C.; Gu, Q.; Cai, X.; Shen, Y. (2026). SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization. arXiv preprint arXiv:2604.02268. https://doi.org/10.48550/arXiv.2604.02268
  5. Monteiro, J.; Gavenski, N.; Zuin, G.; Veloso, A. (2026). When to ASK: Uncertainty-Gated Language Assistance for Reinforcement Learning. arXiv preprint arXiv:2604.02226. https://doi.org/10.48550/arXiv.2604.02226
  6. Li, Y.; Zhou, L.; Yan, S.; Liao, B.; Yan, T.; Xiong, K.; Wang, X. (2026). UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving. arXiv preprint arXiv:2604.02190. https://doi.org/10.48550/arXiv.2604.02190