Me encuentro realizando un estudio detallado de la librería Browser Use, impulsado por mi interés personal y profesional en el tema de Agentes Web con Inteligencia Artificial. La idea es crear una serie de publicaciones donde exploremos sus capacidades y casos de uso en profundidad.

En esta primera entrega, me enfocaré en explicar qué es Browser Use, qué funcionalidades ofrece y un ejemplo inicial.

¿Qué es Browser Use?

Browser Use es una librería de código abierto diseñada para facilitar la automatización web controlada por IA. En esencia:

• Permite que un agente de IA controle un navegador web.
• Facilita la conexión entre modelos LLM y la interfaz web.
• Hace que los sitios web sean accesibles para agentes, permitiéndoles interactuar y extraer información de manera estructurada.

Características principales

Browser Use combina capacidades avanzadas de IA con mecanismos de automatización eficientes para brindar una experiencia robusta y precisa.

Algunas de sus principales características incluyen:

• Extracción HTML + visión: Combina el análisis visual con la estructura HTML del DOM, permitiendo una interacción rica y contextual.
• Manejo de múltiples pestañas: Automatiza flujos complejos en varias pestañas del navegador, ideal para tareas en paralelo.
• Seguimiento de elementos: Extrae las rutas XPath de los elementos con los que se ha interactuado, replicando acciones de forma precisa mediante LLMs.
• Acciones personalizadas: Permite extender el comportamiento del agente, como guardar información, conectarse a bases de datos o enviar notificaciones.
• Autocorrección: Maneja errores de manera inteligente con recuperación automática para soportar flujos de de automatización robustos.
• Compatibilidad con cualquier LLM: Puede integrarse con cualquier modelo compatible con LangChain.

¿Qué lo hace diferente?

La mayoría de soluciones de automatización web actuales se basan únicamente en visión artificial, tratando de imitar la navegación humana. Este enfoque suele ser:

• Lento.
• Costoso.
• Poco confiable.

Browser Use adopta un enfoque diferente: convierte la interfaz web en texto estructurado. Esto permite que los LLMs interactúen de forma determinista, ofreciendo:

1. Mayor velocidad y eficiencia.
2. Una interacción precisa con elementos visuales como botones, menús desplegables, cajas de texto para entrada de información o formularios.
3. Más confiabilidad al evitar los errores comunes de la navegación basada en píxeles.

🧪 Demo rápida

A continuación, un ejemplo básico con Browser Use que crea un agente para buscar el valor actual del stock de NVIDIA:

from langchain_openai import ChatOpenAI
from browser_use import Agent
from dotenv import load_dotenv

import asyncio

load_dotenv()

llm = ChatOpenAI(model="gpt-4o")

async def main():
  agent = Agent(
    task="Give the latest stock price of NVIDIA",
    llm=llm
  )
  result = await agent.run()

asyncio.run(main())

🧩 Repositorio de experimentos

Inspirado en el excelente trabajo de mi amigo Henry Ruiz con el repositorio de https://github.com/haruiz/agents-experiments, he creado el repositorio:

👉 dloperab/ai-web-agents-experiments

Allí iré publicando diferentes pruebas y exploraciones con Browser Use y Agentes Web. El ejemplo anterior está disponible en:

📂 browser-use/foundations/01_quickstart.py

Gracias por llegar hasta el final de este post 🙌

Si te pareció útil, compártelo o comenta qué otros recursos te han servido para explorar el mundo de los agentes web e IA generativa.

¡Seguimos aprendiendo!

Recientemente completé el curso Building AI Browser Agents de DeepLearning.AI, el cual profundiza en el diseño de agentes capaces de navegar y operar de manera autónoma en la web, abordando tanto los desafíos actuales como las soluciones emergentes.

🔍 ¿Qué es un Agente Web?

Un agente web es un software autónomo diseñado para interactuar con páginas web de manera similar a como lo haría un humano. Estos agentes pueden automatizar tareas repetitivas, recopilar datos, monitorear sitios y tomar decisiones sin intervención humana directa.

🧩 Componentes clave de un Agente Web:

- Interfaz de Usuario: Permite la interacción entre el usuario y el agente.
- Módulo de Control: Supervisa y dirige las acciones del agente.
- Base de Conocimiento: Almacena información relevante para la toma de decisiones.
- Módulo de Comunicación: Facilita la interacción con otros sistemas o agentes.
- Módulo de Procesamiento de Datos: Analiza y transforma los datos recopilados.

⚠️ Principales desafíos en Agentes Autónomos:

- Errores de Razonamiento: Decisiones incorrectas que pueden acumularse y afectar el rendimiento. En este paso es donde suceden la mayoría de problemas.
- Divergencia del Plan: El agente puede desviarse de su objetivo o quedar atrapado en bucles.

🧠 Explorando AgentQ

El curso se enfoca en AgentQ, un framework que combina:

- Monte Carlo Tree Search (MCTS): Para explorar y evaluar múltiples trayectorias posibles.
- Mecanismos de Autocrítica y Supervisión de Procesos: Permiten al agente identificar y corregir errores en tiempo real.
- Direct Preference Optimization (DPO): Una técnica que alinea modelos de lenguaje con preferencias humanas de manera eficiente, sin necesidad de modelos de recompensa explícitos.

📚 Papers Recomendados

1. AgentQ: Advanced Reasoning and Learning for Autonomous AI Agents: https://lnkd.in/ee2eSB8H).
2. Direct Preference Optimization: Your Language Model is Secretly a Reward Model: https://lnkd.in/eeyJV5Fd).
3. REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites: https://lnkd.in/efFzP9hj.

🔧 Próximos Pasos

Con el objetivo de aplicar y continuar expandiendo conocimientos en estos temas de Agentes Web, estoy explorando explorar herramientas como:

- Browser-Use: Para ejecutar interacciones en navegadores.
- Google ADK: Framework para el desarrollo de agentes.

📌 Si estás interesado en el curso, puedes encontrarlo aquí: https://www.deeplearning.ai/short-courses/building-ai-browser-agents/

🎓 Generative AI Professional Certification (GAIPC™) — CertiProf.

🎓 AI Agents Fundamentals — Hugging Face.

Estas certificaciones además de validar mi compromiso con el aprendizaje continuo, me han brindado herramientas valiosas para aplicar la GenAI de manera efectiva a nivel personal y profesional en diversos contextos.

Gracias a esta preparación, tuve el honor (y reto) de participar en el TestLab 2025, un evento organizado por GreenSQA en la Universidad Icesi el pasado Febrero. Allí, ofrecí una charla sobre Agentes IA y participé en el foro de cierre del evento, compartiendo ideas sobre el futuro de la automatización y la inteligencia artificial en el aseguramiento de la calidad del software.

Hola a tod@s!

En la actualidad, el mundo está experimentando una rápida evolución en el campo de la Inteligencia Artificial (IA) y los Modelos de Lenguaje de Gran Escala (LLMs). Estas tecnologías están transformando diversas industrias, desde la atención médica hasta la industria automotriz, y están impactando significativamente la forma en que vivimos y trabajamos. Aprender sobre Inteligencia Artificial y LLMs no solo es relevante, sino crucial para adaptarse a este cambiante panorama tecnológico y aprovechar las oportunidades que ofrece. En este contexto, acceder a una variedad de recursos de aprendizaje de calidad se vuelve fundamental para mantenerse actualizado y competente en estos campos en constante evolución.

Como sabemos, en Internet existe una cantidad inmensa de cursos, tutoriales, videos, artículos, y otros recursos para aprender sobre Inteligencia Artificial, NLP (Natural Language Processing) y LLMs (Large Language Models). Durante el último año, he trabajado en mantener una base de datos actualizada y depurada con los que considero los mejores materiales para estudiar y revisar, basándome en mi experiencia y en diversas recomendaciones.

A continuación, comparto con ustedes una recopilación de recursos que incluyen cursos, libros, tutoriales, canales de YouTube, plataformas y más:

📢 Aclaraciones

1. Algunos recursos son gratuitos, otros requieren suscripción, y algunos se pueden auditar. Es decir, hay opciones para todos los gustos.
2. No recibo patrocinio de ninguna de las marcas de plataformas, cursos, libros, etc.

Especializaciones

1. [DeepLearning.AI] Machine Learning Specialization
2. [DeepLearning.AI] Deep Learning Specialization
3. [DeepLearning.AI] Natural Language Processing Specialization
4. [Platzi] Escuela Data Science e Inteligencia Artificial

Libros

1. Transformers for Natural Language Processing and Computer Vision: Explore Generative AI and Large Language Models with Hugging Face, ChatGPT, GPT-4V, and DALL-E 3 (3rd Edition)
2. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems (3rd Edition)
3. Machine Learning with PyTorch and Scikit-Learn: Develop machine learning and deep learning models with Python
4. LangChain AI Handbook
5. Google Prompting Guide 101

Fundamentos NLP y LLMs

1. [Andrej Karpathy] Intro to Large Language Models
2. [Jeremy Howard] A Hackers’ Guide to Language Models
3. [Hugging Face] NLP Course
4. [Cohere] LLM University
5. [The Full Stack] LLM Bootcamp — Spring 2023
6. [Stanford] Natural Language Understanding | Sprint 2023
7. [Stanford] Transformers United

DeepLearning.AI

1. Generative AI for Everyone
2. Generative AI with Large Language Models
3. Vector Databases: from Embeddings to Applications
4. Preprocessing Unstructured Data for LLM Applications
5. Large Language Models with Semantic Search
6. Building Agentic RAG with LlamaIndex
7. Building and Evaluating Advanced RAG Applications
8. Understanding and Applying Text Embeddings with Vertex AI
9. Finetuning Large Language Models
10. Automated Testing for LLMOps

Google

1. Introduction to Generative AI Learning Path
2. Generative AI for Developers Learning Path
3. Gemini Cookbook

Microsoft

1. Generative AI for Beginners

Canales YouTube

1. Underfitted
2. Carlos Alarcón — AI
3. Greg Kamradt (Data Indy)
4. James Briggs
5. Jay Alammar
6. Decoder
7. Data Science Basics

Obviamente, se me escapan muchos recursos interesantes, pero espero que los suministrados les sean de gran ayuda en su aprendizaje de IA y LLMs. Si tienen otros recursos que quieran recomendar, no duden en dejarlos en los comentarios.

Keep exploring!

¡Hola a tod@s!

Después de un largo tiempo de ausencia, ¡estoy de vuelta en el mundo de los blogs! La vida me ha llevado a tomarme un descanso para reflexionar, aprender y crecer, y ahora estoy listo para compartir mis conocimientos y experiencias con ustedes nuevamente.

En este nuevo capítulo del blog, me enfocaré principalmente en dos áreas que me interesan: la inteligencia artificial y el desarrollo de aplicaciones. Si bien no soy experto en el mundo de la inteligencia artificial, estoy emocionado de sumergirme en este fascinante campo y compartir con ustedes todo lo que aprenda en el camino.

Desde hace una semanas y durante los los próximos meses, espero continuar en un camino de constante aprendizaje en el mundo de la inteligencia artificial (IA), principalmente con temas de Computer Vision (CV) y LLMs (Large Language Models). A través del estudio de diversos cursos, pruebas de conceptos y proyectos, espero lograr una buena compresión de estas tecnologías y su potencial para transformar nuestras vidas.

En este blog, me propongo compartir con ustedes lo que vaya aprendiendo. Me enfocaré en temas como:

• Fundamentos: Explicaré los conceptos básicos de estas tecnologías de manera clara y accesible.
• Aplicaciones: Exploraremos cómo se están utilizando estas tecnologías en diversos campos.
• Desarrollo: Compartiré recursos y tutoriales para aquellos que quieran aprender a desarrollar sus propias aplicaciones de IA.

Espero que les guste este nuevo enfoque del blog. Estoy muy animado de por compartir mi viaje de aprendizaje con ustedes y espero que juntos podamos aprender y explorar el potencial de estas tecnologías.

¡No se pierdan las próximas publicaciones!

P.D. Si tienen algún tema que les gustaría que abordara en el blog, no duden en dejarme un comentario.

¡Gracias por acompañarme en este viaje!

Keep exploring!

Este artículo muestra cómo instalar y configurar TensorFlow 2 en Windows 10 con una tarjeta de video NVIDIA GeForce.

Las características del hardware de mi equipo son:

• Sistema operativo: Windows 10 Pro — Versión 20H2.
• Procesador: Intel Core i7–8750H CPU @ 2.20GHz 2.21 GHz.
• RAM: 32 GB.
• Disco duro: 256 GB SSD.
• Tarjeta video: NVIDIA GeForce GTX 1060.

Prerequisitos

• Anaconda instalado. Para esta guía se tiene instalada la versión Anaconda 4.9.2 + Python 3.8.5.
• Visual Studio 2019 instalado. Requerido para instalación de CUDA Toolkit.

Verificar compatibilidad de tarjeta de video

Verificar la compatibilidad de la tarjeta de video que se tenga con TensorFlow es de los primeros pasos a realizar. En el caso de esta guía se verificará la compatibilidad para la tarjeta de video NVIDIA GeForce GTX 1060.

a. En el link https://developer.nvidia.com/cuda-gpus se debe buscar la referencia de la tarjeta de video para conocer si es compatible:

b. La tarjeta de video GTX 1060 cuenta con un “Compute Capability” de 6.1. Lo mínimo requerido es 3.5. Se pueden revisar estos requisitos en el siguiente link https://www.tensorflow.org/install/gpu#hardware_requirements.

Verificar los requerimientos de software

a. En la documentación oficial de TensorFlow se pueden validar los requerimientos de software mínimos requeridos:

• https://www.tensorflow.org/install/gpu#software_requirements

• En esta guía se instalarán las siguientes versiones:

— TensorFlow: 2.4.0.

— CUDA Toolkit: 11.0.

— cuDNN: 8.0.4.

Instalar Visual Studio

a. “CUDA Toolkit 11.0” tiene como requisito tener instalado Visual Studio. Si se revisa la documentación de CUDA en https://docs.nvidia.com/cuda/archive/11.0/cuda-installation-guide-microsoft-windows/, el Visual Studio requerido es 2019.

b. Si se hace caso omiso al paso anterior, al momento de estar instalando CUDA se podría visualizar un mensaje como el siguiente:

Actualizar los drivers de la tarjeta de video

a. Instalar/Actualizar drivers de la tarjeta de video:

Opción 1: Utilizando el programa “NVIDIA GeForce Experience”. La versión instalada del driver al momento de crear esta guía es la v460.89:

Opción 2: Buscar el driver en la página Web de NVIDIA https://www.nvidia.com/Download/index.aspx?lang=en-us:

b. Verificar los drivers instalados con el comando nvidia-smi en la consola:

Nota:En caso de no tener acceso al comando nvidia-smi añadir la ruta "C:\Program Files\NVIDIA Corporation\NVSMI" a la variable de entorno path.

Instalar CUDA Toolkit

a. Descargar CUDA v11.0 del sitio de NVIDIA https://developer.nvidia.com/cuda-11.0-download-archive:

b. Elegir el instalador base de CUDA e iniciar la instalación:

• Elegir la opción de instalación Custom:

• Solo instalar los componentes de CUDA. NO instalar los componentes “NVIDIA GeForce Experience”, “Driver Components” y “Other Components” siempre y cuando las versiones instaladas en el sistema sean mayores que las que se sugiere el instalador:

• Para mayor información de este paso, se puede revisar el siguiente link https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html para validar que CUDA 11.0 soporta versiones >= 450 del driver de la tarjeta de video en Windows:

• Si todo ha salido correctamente con la instalación, se debe visualizar la siguiente ventana:

• Ir a la ruta donde quedó instalado CUDA (C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0). Esta ruta es importante para pasos posteriores, ya que se debe adicionar a las variables de entorno de Windows.

c. Para verificar la instalación de CUDA se puede ejecutar el siguiente comando nvcc --version:

Instalar cuDNN

a. Con base a los requisitos mencionados anteriormente, la versión a instalar de cuDNN es la 8.0.4.

b. Descargar cuDNN desde https://developer.nvidia.com/rdp/cudnn-archive. Requiere Inicio de sesión o Registro (Gratis) para poder obtener los instaladores.

c. Se descarga paquete cuDDN Library for Windows 10 como se visualiza en la siguiente imagen:

d. En el paso anterior se descarga un archivo “cudnn-11.0-windows-x64-v8.0.4.30.zip” y se procede a descomprimir el archivo.

e. Siguiendo el “Paso 3” de la documentación oficial de NVIDIA en el link https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#installwindows, se realiza lo siguiente:

• Se copia el archivo “\cudnn-11.0-windows-x64-v8.0.4.30\cuda\bin\cudnn64_8.dll” en la ruta “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin”.
• Se copia el archivo “\cudnn-11.0-windows-x64-v8.0.4.30\cuda\include\cudnn.h” en la ruta “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include”.
• Se copia el archivo “\cudnn-11.0-windows-x64-v8.0.4.30\cuda\lib\x64\cudnn.lib” en la ruta “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\lib\x64”.

f. Adicionar/Verificar en la variable de entorno PATH las carpetas “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin” y “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\libnvvp”:

Crear el “conda environment”

a. Para crear el environment donde se va a usar TensorFlow se debe tener en cuenta que las versiones de Python soportadas son 3.6–3.8, tal y como se ve en la siguiente tabla:

b. Abrir la consola de comandos o Anaconda Prompt para crear un nuevo ambiente indicando la versión de Python 3.8. Para efectos de esta guía se crea un environment llamado tensorflow:

• conda create --name tensorflow python=3.8

c. Verificar los “environments” creados en Anaconda con el comando conda env list:

d. Activar el environment con el comando conda activate tensorflow.

Instalar TensorFlow con soporte GPU

a. Escribir el comando pip install tensorflow-gpu==2.4.0 en "Anaconda Prompt" dentro del environment creado:

b. Al terminar el punto anterior, se procede a probar la instalación de TensorFlow por medio de los siguientes comandos en la consola:

% python
>>> import tensorflow as tf
>>> tf.test.is_gpu_available()

Referencias

• How to install TensorFlow 2.0 on Ubuntu
• Install TensorFlow with GPU Support on Windows 10 (without a full CUDA install)

Espero este artículo haya sido de gran ayuda. Gracias por leerlo!

Artículo en blog personal: https://dloperab.github.io/blog/markdown/2020/05/19/weekly-mendations-025.html

“Thank you, namaste, and good luck”

Hola a tod@s, a continuación la entrega de las weekly-mendations de la semana:

Machine Learning

• Microsoft provides insight into its programming language Bosque
• Acme: A new framework for distributed reinforcement learning
• Facebook just released a database of 100,000 deepfakes to teach AI how to spot them
• The Dumb Reason Your AI Project Will Fail
• How Biased is GPT-3?

PyTorch

• fastai — A Layered API for Deep Learning
• Introducing Computer Vision Recipes repository

MLOps

• The Ultimate Guide to Deploying Machine Learning Models
• Intro to AWS for Machine Learning
• Deploy Machine Learning Pipeline on AWS Fargate

Personal blog: https://dloperab.github.io/blog/markdown/2020/07/15/weekly-mendations-033.html

“Thank you, namaste, and good luck”

Hola a tod@s, a continuación la entrega de las weekly-mendations de la semana:

Tutorials

• Getting started with Time Series using Pandas
• Práctica del Desarrollo de Software

Docker

• Learn Docker & Containers using Interactive Browser-Based Scenarios

ML .NET

• ML.NET Workshops

MLOps

• Using GitHub Actions & Azure Machine Learning for MLOps

TensorFlow

• TensorFlow, Keras and deep learning, without a PhD
• Enhance your TensorFlow Lite deployment with Firebase

WSL2 (Windows Subsystem for Linux)

• Announcing CUDA on Windows Subsystem for Linux 2
• Developing on Windows with WSL2 (Subsystem for Linux), VS Code, Docker, and the Terminal
• Getting started with CUDA on Ubuntu on WSL 2

Personal blog: https://dloperab.github.io/blog/markdown/2020/07/06/weekly-mendations-032.html

“Thank you, namaste, and good luck”

Hola a tod@s, a continuación la entrega de las weekly-mendations de la semana:

Tutorials

• Create beautiful and simple ML web apps that you can deploy at scale in a few steps
• DETR: Object Detection con Transformers

Python

• 10 Smooth Python Tricks For Python Gods
• 3 Great Design Patterns for Data Scientists

PyTorch

• 5 Advanced PyTorch Tools to Level up Your Workflow

ONNX

• ONNX Runtime Training Technical Deep Dive
• ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

Computer Vision

• What’s new in YOLOv4?
• Character Recognition and Segmentation For Custom Data Using Detectron2
• Bye-bye MobileNet. Hello EfficientNet!

Personal blog: https://dloperab.github.io/blog/markdown/2020/06/30/weekly-mendations-031.html

“Thank you, namaste, and good luck”

Hola a tod@s, a continuación la entrega de las weekly-mendations de la semana:

Bias in Machine Learning

• What is AI bias?
• Guide to Interpretable Machine Learning
• Interpretable Machine Learning
• Reducing AI bias with Synthetic data

Tutorials

• Transform Jupyter Notebook to an Ebook
• A definitive guide for Setting up a Deep Learning Workstation with Ubuntu 18.04

PyTorch and Fast.ai

• Should you use FastAI?
• Multi-Task Learning with Pytorch and FastAI
• Deep Learning For NLP with PyTorch and Torchtext

NVIDIA RAPIDS

• Accelerating end-to-end Machine Learning workflows with NVIDIA RAPIDS

Post in my personal blog: https://dloperab.github.io/blog/markdown/2020/06/24/weekly-mendations-030.html

“Thank you, namaste, and good luck”