Neste projeto, você vai aprender a configurar uma central de automação com ESP32-S3, integrando o display touchscreen de 2,8 polegadas à inteligência artificial Gemini.
Vamos configurar o touchscreen, identificar os toques realizados na tela e integrar o sistema ao Gemini para permitir que você faça perguntas por voz e receba respostas faladas. Também vamos implementar comandos para controlar dispositivos conectados à placa.
Para isso, utilizaremos os recursos gráficos do display, o microfone integrado, a saída de áudio para alto-falante e uma conexão Wi-Fi para acessar os serviços de inteligência artificial.
1. Configurando o Touchscreen
Para começar, vamos habilitar o touchscreen do display. Neste projeto, utilizaremos a biblioteca Arduino_GFX_Library.h para controlar a parte gráfica do display.
O touchscreen utiliza o controlador FT6336G, que se comunica com o ESP32-S3 por meio do protocolo I²C.
Antes de iniciar, precisamos definir os pinos utilizados na comunicação com o display e com o controlador de toque.
Configuração dos pinos do display
#define TFT_CS 10
#define TFT_DC 46
#define TFT_SCK 12
#define TFT_MOSI 11
#define TFT_MISO 13
#define TFT_RST -1
#define TFT_BL 45
Configuração do Touchscreen – FT6336G
#define TOUCH_ADDR 0x38
#define TOUCH_SDA 16
#define TOUCH_SCL 15
O endereço I²C 0x38 identifica o controlador FT6336G, enquanto os pinos SDA e SCL realizam a comunicação entre o touchscreen e o microcontrolador.
No programa, inicializamos essa comunicação com:
Wire.begin(TOUCH_SDA, TOUCH_SCL);
O display utiliza comunicação SPI, enquanto o controlador de toque trabalha com I²C. Assim, as duas interfaces funcionam de forma independente, cada uma com seus respectivos sinais.
2. Registrando os toques e alternando as telas
Com a comunicação estabelecida, precisamos identificar quando você toca na tela.
Para isso, o programa consulta os registradores do FT6336G, verifica se existe algum toque registrado e obtém as coordenadas X e Y da posição pressionada.
Essas coordenadas permitem identificar em qual região da interface ocorreu o toque. A partir delas, o programa verifica a tela atual e executa a ação correspondente.

Utilizando imagens personalizadas
O programa também utiliza imagens personalizadas para compor as telas da central.
Neste exemplo, desenvolvemos artes específicas para o projeto e armazenamos os arquivos em cabeçalhos .h, utilizando o formato RGB565 e a resolução de 240 × 320 pixels.
Você também pode substituir essas imagens por artes próprias, desde que respeite as dimensões, o formato de cor e a organização esperada pelo código.

3. Integrando a inteligência artificial Gemini
Agora que conseguimos controlar o display, registrar os toques, captar áudio pelo microfone e reproduzir som pelo alto-falante, vamos integrar a central à inteligência artificial Gemini.
O objetivo é permitir que você faça perguntas por voz, receba respostas em texto e escute a resposta pelo alto-falante da placa.
Também vamos implementar comandos para controlar dispositivos conectados ao ESP32-S3.
Neste projeto, o microcontrolador não realiza localmente o reconhecimento inteligente da fala. Ele captura o áudio e envia os dados pela internet para o serviço Gemini, que interpreta o conteúdo e retorna uma resposta.
Quando o sistema recebe uma resposta comum, realiza uma nova solicitação para gerar o áudio correspondente.
Como funciona o fluxo de comunicação
1. Captura do áudio: o microfone integrado registra a voz do usuário. A captura utiliza áudio PCM, mono, 16 bits e 16 kHz.
2. Envio para o Gemini: o ESP32-S3 envia o áudio à API do Gemini por meio da conexão Wi-Fi.
3. Interpretação: o Gemini interpreta o áudio e retorna uma resposta em texto. Para comandos específicos, o programa espera identificadores definidos no próprio firmware.
4. Geração de voz: para respostas comuns, o texto é enviado em uma segunda solicitação ao serviço de geração de áudio.
5. Reprodução ou automação: o ESP32-S3 reproduz o áudio recebido ou executa a ação associada a um comando reconhecido.
Uma característica importante dessa implementação é que as respostas faladas não precisam estar previamente gravadas no cartão de memória. O serviço de inteligência artificial gera os áudios dinamicamente e os envia à placa para reprodução.
Controlando dispositivos com comandos de voz
Além de responder perguntas, a central pode executar comandos de automação.
Neste exemplo, vamos controlar um LED conectado ao GPIO 2 do ESP32-S3.
O programa orienta o Gemini a retornar identificadores específicos quando reconhece uma solicitação para ligar ou desligar o LED:
CMD_LIGAR_LEDCMD_DESLIGAR_LED
O ESP32-S3 identifica esses comandos e altera o estado do GPIO 2.
Diferentemente das respostas comuns, esses dois comandos não passam pela etapa de geração de voz. Em vez disso, a interface apresenta uma confirmação visual:
- LED LIGADO
- LED DESLIGADO

É importante destacar que o Gemini não aciona diretamente os componentes conectados à placa. Ele interpreta a solicitação e retorna um identificador. O ESP32-S3 verifica esse identificador e executa a ação programada no firmware.
Essa estrutura permite ampliar o projeto para controlar relés, iluminação, sensores e outros dispositivos, desde que cada comando tenha uma ação correspondente implementada e validada no programa.
Por que esse processo pode demorar?
Diferentemente de um sistema que executa todo o processamento localmente, nossa central depende de uma conexão com a internet e de solicitações a serviços externos.
Cada interação pode envolver:
- Captura e envio do áudio.
- Interpretação da fala pelo Gemini.
- Geração da resposta em texto.
- Solicitação de geração de voz.
- Recebimento e reprodução do áudio.
O tempo de resposta pode variar de acordo com a qualidade da conexão, a disponibilidade do serviço, o modelo utilizado e os limites de consumo aplicáveis à conta.
Os limites e as condições de uso podem mudar. Por isso, consulte a documentação oficial e o painel do Google AI Studio.
4. Criando uma conta no Google AI Studio
Para utilizar o Gemini, precisamos acessar o Google AI Studio e criar uma chave de API.
Essa chave permite que o ESP32-S3 autentique suas solicitações à API e utilize os serviços de inteligência artificial.
Acesse: https://aistudio.google.com/

Faça login com sua conta Google. Depois, acesse a página de gerenciamento de chaves de API: https://aistudio.google.com/api-keys
Na página de gerenciamento, escolha a opção para criar uma nova chave. Se necessário, selecione ou crie um projeto e informe um nome que ajude a identificar a finalidade da credencial.

Após a criação, utilize o ícone de cópia para copiar a chave. Você precisará informá-la na configuração do programa.
Atenção à segurança: a chave de API é uma credencial de acesso. Não a inclua em fotografias, artigos, repositórios públicos ou arquivos disponibilizados para download. Se uma chave real for exposta, revogue-a no painel do Google e gere outra. Também evite publicar a senha da sua rede Wi-Fi.
5. Configurando o programa
Com a chave de API criada, vamos configurar as informações necessárias para que a placa estabeleça a conexão com a rede Wi-Fi e acesse os serviços do Gemini.
No início do arquivo .ino, o projeto utiliza definições para:
- Nome da rede Wi-Fi (SSID).
- Senha da rede Wi-Fi.
- Chave de API do Gemini.
- Identificador do modelo utilizado para interpretar o áudio.
Escolhendo o modelo do Gemini
O identificador do modelo precisa corresponder a um modelo disponível na API e compatível com a operação solicitada.
Não basta substituir o nome do modelo aleatoriamente. Verifique na documentação se ele aceita entrada de áudio e se o endpoint utilizado pelo programa é compatível com essa operação.
A geração de voz também utiliza um modelo e uma configuração próprios.
Documentação oficial dos modelos: https://ai.google.dev/gemini-api/docs/models
Depois de preencher as informações, salve o código e confira se as credenciais estão corretas antes de realizar o envio para a placa.
6. Finalizando o projeto
Depois de realizar as configurações, carregue o programa no ESP32-S3 e aguarde a inicialização do sistema.
Quando a inicialização terminar e a conexão Wi-Fi for estabelecida, a central estará pronta para receber interações pelo touchscreen.
Toque no botão de interação, faça uma pergunta pelo microfone e aguarde o processamento do Gemini. Para uma pergunta comum, a resposta será apresentada na interface e convertida em áudio para reprodução pelo alto-falante integrado.
No exemplo de automação, também implementamos o controle de um LED conectado ao GPIO 2. Quando o Gemini identifica uma solicitação específica para ligar ou desligar o LED, retorna o identificador correspondente e o ESP32-S3 executa a ação.
Outro detalhe visual do projeto é a utilização de imagens personalizadas para representar os diferentes estados da central. Durante a reprodução da resposta, por exemplo, o sistema exibe uma imagem do mascote com a boca aberta, indicando visualmente que a central está falando.
Conclusão
Pronto! Agora você já sabe como integrar o touchscreen, o sistema de áudio e a inteligência artificial Gemini em uma central de automação com ESP32-S3.
Com essa configuração, você consegue interagir com a central por voz, fazer perguntas, receber respostas faladas e executar comandos para controlar dispositivos conectados à placa.
O projeto reúne interface gráfica, touchscreen, captação e reprodução de áudio e inteligência artificial em um único sistema.
A partir dessa estrutura, você pode desenvolver novas funcionalidades, como controle de iluminação, acionamento de relés, monitoramento de sensores e integração com outros dispositivos da residência.
Projeto realizado por Emanuel Sousa – Graduando em Engenharia Mecatrônica


Deixe um comentário