Central de Automação com ESP32-S3: Touchscreen e Inteligência Artificial

Neste projeto, você vai aprender a configurar uma central de automação com ESP32-S3, integrando o display touchscreen de 2,8 polegadas à inteligência artificial Gemini.

Vamos configurar o touchscreen, identificar os toques realizados na tela e integrar o sistema ao Gemini para permitir que você faça perguntas por voz e receba respostas faladas. Também vamos implementar comandos para controlar dispositivos conectados à placa.

Para isso, utilizaremos os recursos gráficos do display, o microfone integrado, a saída de áudio para alto-falante e uma conexão Wi-Fi para acessar os serviços de inteligência artificial.

1. Configurando o Touchscreen

Para começar, vamos habilitar o touchscreen do display. Neste projeto, utilizaremos a biblioteca Arduino_GFX_Library.h para controlar a parte gráfica do display.

O touchscreen utiliza o controlador FT6336G, que se comunica com o ESP32-S3 por meio do protocolo I²C.

Antes de iniciar, precisamos definir os pinos utilizados na comunicação com o display e com o controlador de toque.

Configuração dos pinos do display

#define TFT_CS    10
#define TFT_DC    46
#define TFT_SCK   12
#define TFT_MOSI  11
#define TFT_MISO  13
#define TFT_RST   -1
#define TFT_BL    45

Configuração do Touchscreen – FT6336G

#define TOUCH_ADDR 0x38
#define TOUCH_SDA  16
#define TOUCH_SCL  15

O endereço I²C 0x38 identifica o controlador FT6336G, enquanto os pinos SDA e SCL realizam a comunicação entre o touchscreen e o microcontrolador.

No programa, inicializamos essa comunicação com:

Wire.begin(TOUCH_SDA, TOUCH_SCL);

O display utiliza comunicação SPI, enquanto o controlador de toque trabalha com I²C. Assim, as duas interfaces funcionam de forma independente, cada uma com seus respectivos sinais.

2. Registrando os toques e alternando as telas

Com a comunicação estabelecida, precisamos identificar quando você toca na tela.

Para isso, o programa consulta os registradores do FT6336G, verifica se existe algum toque registrado e obtém as coordenadas X e Y da posição pressionada.

Essas coordenadas permitem identificar em qual região da interface ocorreu o toque. A partir delas, o programa verifica a tela atual e executa a ação correspondente.

Utilizando imagens personalizadas

O programa também utiliza imagens personalizadas para compor as telas da central.

Neste exemplo, desenvolvemos artes específicas para o projeto e armazenamos os arquivos em cabeçalhos .h, utilizando o formato RGB565 e a resolução de 240 × 320 pixels.

Você também pode substituir essas imagens por artes próprias, desde que respeite as dimensões, o formato de cor e a organização esperada pelo código.

Código completo

3. Integrando a inteligência artificial Gemini

Agora que conseguimos controlar o display, registrar os toques, captar áudio pelo microfone e reproduzir som pelo alto-falante, vamos integrar a central à inteligência artificial Gemini.

O objetivo é permitir que você faça perguntas por voz, receba respostas em texto e escute a resposta pelo alto-falante da placa.

Também vamos implementar comandos para controlar dispositivos conectados ao ESP32-S3.

Neste projeto, o microcontrolador não realiza localmente o reconhecimento inteligente da fala. Ele captura o áudio e envia os dados pela internet para o serviço Gemini, que interpreta o conteúdo e retorna uma resposta.

Quando o sistema recebe uma resposta comum, realiza uma nova solicitação para gerar o áudio correspondente.

Como funciona o fluxo de comunicação

1. Captura do áudio: o microfone integrado registra a voz do usuário. A captura utiliza áudio PCM, mono, 16 bits e 16 kHz.

2. Envio para o Gemini: o ESP32-S3 envia o áudio à API do Gemini por meio da conexão Wi-Fi.

3. Interpretação: o Gemini interpreta o áudio e retorna uma resposta em texto. Para comandos específicos, o programa espera identificadores definidos no próprio firmware.

4. Geração de voz: para respostas comuns, o texto é enviado em uma segunda solicitação ao serviço de geração de áudio.

5. Reprodução ou automação: o ESP32-S3 reproduz o áudio recebido ou executa a ação associada a um comando reconhecido.

Uma característica importante dessa implementação é que as respostas faladas não precisam estar previamente gravadas no cartão de memória. O serviço de inteligência artificial gera os áudios dinamicamente e os envia à placa para reprodução.

Controlando dispositivos com comandos de voz

Além de responder perguntas, a central pode executar comandos de automação.

Neste exemplo, vamos controlar um LED conectado ao GPIO 2 do ESP32-S3.

O programa orienta o Gemini a retornar identificadores específicos quando reconhece uma solicitação para ligar ou desligar o LED:

  • CMD_LIGAR_LED
  • CMD_DESLIGAR_LED

O ESP32-S3 identifica esses comandos e altera o estado do GPIO 2.

Diferentemente das respostas comuns, esses dois comandos não passam pela etapa de geração de voz. Em vez disso, a interface apresenta uma confirmação visual:

  • LED LIGADO
  • LED DESLIGADO

É importante destacar que o Gemini não aciona diretamente os componentes conectados à placa. Ele interpreta a solicitação e retorna um identificador. O ESP32-S3 verifica esse identificador e executa a ação programada no firmware.

Essa estrutura permite ampliar o projeto para controlar relés, iluminação, sensores e outros dispositivos, desde que cada comando tenha uma ação correspondente implementada e validada no programa.

Por que esse processo pode demorar?

Diferentemente de um sistema que executa todo o processamento localmente, nossa central depende de uma conexão com a internet e de solicitações a serviços externos.

Cada interação pode envolver:

  • Captura e envio do áudio.
  • Interpretação da fala pelo Gemini.
  • Geração da resposta em texto.
  • Solicitação de geração de voz.
  • Recebimento e reprodução do áudio.


O tempo de resposta pode variar de acordo com a qualidade da conexão, a disponibilidade do serviço, o modelo utilizado e os limites de consumo aplicáveis à conta.

Os limites e as condições de uso podem mudar. Por isso, consulte a documentação oficial e o painel do Google AI Studio.

4. Criando uma conta no Google AI Studio

Para utilizar o Gemini, precisamos acessar o Google AI Studio e criar uma chave de API.

Essa chave permite que o ESP32-S3 autentique suas solicitações à API e utilize os serviços de inteligência artificial.

Acesse: https://aistudio.google.com/


Faça login com sua conta Google. Depois, acesse a página de gerenciamento de chaves de API: https://aistudio.google.com/api-keys

Na página de gerenciamento, escolha a opção para criar uma nova chave. Se necessário, selecione ou crie um projeto e informe um nome que ajude a identificar a finalidade da credencial.

Após a criação, utilize o ícone de cópia para copiar a chave. Você precisará informá-la na configuração do programa.

Atenção à segurança: a chave de API é uma credencial de acesso. Não a inclua em fotografias, artigos, repositórios públicos ou arquivos disponibilizados para download. Se uma chave real for exposta, revogue-a no painel do Google e gere outra. Também evite publicar a senha da sua rede Wi-Fi.

5. Configurando o programa

Com a chave de API criada, vamos configurar as informações necessárias para que a placa estabeleça a conexão com a rede Wi-Fi e acesse os serviços do Gemini.

No início do arquivo .ino, o projeto utiliza definições para:

  • Nome da rede Wi-Fi (SSID).
  • Senha da rede Wi-Fi.
  • Chave de API do Gemini.
  • Identificador do modelo utilizado para interpretar o áudio.

Escolhendo o modelo do Gemini

O identificador do modelo precisa corresponder a um modelo disponível na API e compatível com a operação solicitada.

Não basta substituir o nome do modelo aleatoriamente. Verifique na documentação se ele aceita entrada de áudio e se o endpoint utilizado pelo programa é compatível com essa operação.

A geração de voz também utiliza um modelo e uma configuração próprios.

Documentação oficial dos modelos: https://ai.google.dev/gemini-api/docs/models

Depois de preencher as informações, salve o código e confira se as credenciais estão corretas antes de realizar o envio para a placa.

Código completo

6. Finalizando o projeto

Depois de realizar as configurações, carregue o programa no ESP32-S3 e aguarde a inicialização do sistema.

Quando a inicialização terminar e a conexão Wi-Fi for estabelecida, a central estará pronta para receber interações pelo touchscreen.

Toque no botão de interação, faça uma pergunta pelo microfone e aguarde o processamento do Gemini. Para uma pergunta comum, a resposta será apresentada na interface e convertida em áudio para reprodução pelo alto-falante integrado.

No exemplo de automação, também implementamos o controle de um LED conectado ao GPIO 2. Quando o Gemini identifica uma solicitação específica para ligar ou desligar o LED, retorna o identificador correspondente e o ESP32-S3 executa a ação.

Outro detalhe visual do projeto é a utilização de imagens personalizadas para representar os diferentes estados da central. Durante a reprodução da resposta, por exemplo, o sistema exibe uma imagem do mascote com a boca aberta, indicando visualmente que a central está falando.

Conclusão

Pronto! Agora você já sabe como integrar o touchscreen, o sistema de áudio e a inteligência artificial Gemini em uma central de automação com ESP32-S3.

Com essa configuração, você consegue interagir com a central por voz, fazer perguntas, receber respostas faladas e executar comandos para controlar dispositivos conectados à placa.

O projeto reúne interface gráfica, touchscreen, captação e reprodução de áudio e inteligência artificial em um único sistema.

A partir dessa estrutura, você pode desenvolver novas funcionalidades, como controle de iluminação, acionamento de relés, monitoramento de sensores e integração com outros dispositivos da residência.

Projeto realizado por Emanuel Sousa – Graduando em Engenharia Mecatrônica

Post navigation

Deixe um comentário

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Smart Kits participa da Feira do Conhecimento 2026 com experiências interativas de tecnologia e robótica

Casa Inteligente ACEBOTT: automação e IoT na prática

Instalação do Driver USB para ESP32: Guia Completo

Conheça o Ferro de Solda – Guia Completo da Smart Kits