add board 小智云聊-S3并修改8388支持AEC

main/CMakeLists.txt

@@ -508,6 +508,11 @@ elseif(CONFIG_BOARD_TYPE_SURFER_C3_1_14TFT)
     set(LVGL_TEXT_FONT ${FONT_PUHUI_BASIC_20_4})
     set(LVGL_ICON_FONT ${FONT_AWESOME_20_4})
     set(DEFAULT_ASSETS ${ASSETS_XIAOZHI_S_PUHUI_COMMON_20_4_EMOJI_32})
+elseif(CONFIG_BOARD_TYPE_YUNLIAO_S3)
+    set(BOARD_TYPE "yunliao-s3")
+    set(LVGL_TEXT_FONT ${FONT_PUHUI_BASIC_20_4})
+    set(LVGL_ICON_FONT ${FONT_AWESOME_20_4})
+    set(DEFAULT_ASSETS ${ASSETS_XIAOZHI_PUHUI_COMMON_20_4_EMOJI_64})
 endif()
 
 file(GLOB BOARD_SOURCES

main/Kconfig.projbuild

@@ -361,6 +361,9 @@ choice BOARD_TYPE
     config BOARD_TYPE_SURFER_C3_1_14TFT
         bool "Surfer-C3-1-14TFT"
         depends on IDF_TARGET_ESP32C3
+    config BOARD_TYPE_YUNLIAO_S3
+        bool "小智云聊-S3"
+        depends on IDF_TARGET_ESP32S3
 endchoice
 
 choice ESP_S3_LCD_EV_Board_Version_TYPE
@@ -520,7 +523,7 @@ config USE_AUDIO_PROCESSOR
 config USE_DEVICE_AEC
     bool "Enable Device-Side AEC"
     default n
-        depends on USE_AUDIO_PROCESSOR && (BOARD_TYPE_ESP_BOX_3 || BOARD_TYPE_ESP_BOX || BOARD_TYPE_ESP_BOX_LITE || BOARD_TYPE_LICHUANG_DEV || BOARD_TYPE_ESP32S3_KORVO2_V3 || BOARD_TYPE_ESP32S3_Touch_AMOLED_1_75 || BOARD_TYPE_ESP32S3_Touch_AMOLED_2_06 || BOARD_TYPE_ESP32P4_WIFI6_Touch_LCD_4B || BOARD_TYPE_ESP32P4_WIFI6_Touch_LCD_XC || BOARD_TYPE_ESP_S3_LCD_EV_Board_2)
+        depends on USE_AUDIO_PROCESSOR && (BOARD_TYPE_ESP_BOX_3 || BOARD_TYPE_ESP_BOX || BOARD_TYPE_ESP_BOX_LITE || BOARD_TYPE_LICHUANG_DEV || BOARD_TYPE_ESP32S3_KORVO2_V3 || BOARD_TYPE_ESP32S3_Touch_AMOLED_1_75 || BOARD_TYPE_ESP32S3_Touch_AMOLED_2_06 || BOARD_TYPE_ESP32P4_WIFI6_Touch_LCD_4B || BOARD_TYPE_ESP32P4_WIFI6_Touch_LCD_XC || BOARD_TYPE_ESP_S3_LCD_EV_Board_2 || BOARD_TYPE_YUNLIAO_S3)
     help
         因为性能不够，不建议和微信聊天界面风格同时开启
 

main/audio/codecs/es8388_audio_codec.cc

@@ -6,13 +6,14 @@
 
 Es8388AudioCodec::Es8388AudioCodec(void* i2c_master_handle, i2c_port_t i2c_port, int input_sample_rate, int output_sample_rate,
     gpio_num_t mclk, gpio_num_t bclk, gpio_num_t ws, gpio_num_t dout, gpio_num_t din,
-    gpio_num_t pa_pin, uint8_t es8388_addr) {
+    gpio_num_t pa_pin, uint8_t es8388_addr, bool input_reference) {
     duplex_ = true; // 是否双工
-    input_reference_ = false; // 是否使用参考输入，实现回声消除
-    input_channels_ = 1; // 输入通道数
+    input_reference_ = input_reference; // 是否使用参考输入，实现回声消除
+    input_channels_ = input_reference_ ? 2 : 1; // 输入通道数
     input_sample_rate_ = input_sample_rate;
     output_sample_rate_ = output_sample_rate;
-    pa_pin_ = pa_pin;                                                                                                                                                                                     CreateDuplexChannels(mclk, bclk, ws, dout, din);
+    pa_pin_ = pa_pin;
+    CreateDuplexChannels(mclk, bclk, ws, dout, din);
 
     // Do initialize of related interface: data_if, ctrl_if and gpio_if
     audio_codec_i2s_cfg_t i2s_cfg = {
@@ -144,13 +145,21 @@ void Es8388AudioCodec::EnableInput(bool enable) {
     if (enable) {
         esp_codec_dev_sample_info_t fs = {
             .bits_per_sample = 16,
-            .channel = 1,
-            .channel_mask = 0,
+            .channel = (uint8_t) input_channels_,
+            .channel_mask = ESP_CODEC_DEV_MAKE_CHANNEL_MASK(0),
             .sample_rate = (uint32_t)input_sample_rate_,
             .mclk_multiple = 0,
         };
+        if (input_reference_) {
+            fs.channel_mask |= ESP_CODEC_DEV_MAKE_CHANNEL_MASK(1);
+        }
         ESP_ERROR_CHECK(esp_codec_dev_open(input_dev_, &fs));
-        ESP_ERROR_CHECK(esp_codec_dev_set_in_gain(input_dev_, 24.0));
+        if (input_reference_) {
+            uint8_t gain = (11 << 4) + 0;
+            ctrl_if_->write_reg(ctrl_if_, 0x09, 1, &gain, 1);
+        }else{
+            ESP_ERROR_CHECK(esp_codec_dev_set_in_gain(input_dev_, 24.0));
+        }
     } else {
         ESP_ERROR_CHECK(esp_codec_dev_close(input_dev_));
     }
@@ -175,6 +184,9 @@ void Es8388AudioCodec::EnableOutput(bool enable) {
 
         // Set analog output volume to 0dB, default is -45dB
         uint8_t reg_val = 30; // 0dB
+        if(input_reference_){
+            reg_val = 27;
+        }
         uint8_t regs[] = { 46, 47, 48, 49 }; // HP_LVOL, HP_RVOL, SPK_LVOL, SPK_RVOL
         for (uint8_t reg : regs) {
             ctrl_if_->write_reg(ctrl_if_, reg, 1, &reg_val, 1);
@@ -200,7 +212,7 @@ int Es8388AudioCodec::Read(int16_t* dest, int samples) {
 }
 
 int Es8388AudioCodec::Write(const int16_t* data, int samples) {
-    if (output_enabled_) {
+    if (output_enabled_ && output_dev_ && data != nullptr) {
         ESP_ERROR_CHECK_WITHOUT_ABORT(esp_codec_dev_write(output_dev_, (void*)data, samples * sizeof(int16_t)));
     }
     return samples;

main/audio/codecs/es8388_audio_codec.h

@@ -29,7 +29,7 @@ class Es8388AudioCodec : public AudioCodec {
 public:
     Es8388AudioCodec(void* i2c_master_handle, i2c_port_t i2c_port, int input_sample_rate, int output_sample_rate,
         gpio_num_t mclk, gpio_num_t bclk, gpio_num_t ws, gpio_num_t dout, gpio_num_t din,
-        gpio_num_t pa_pin, uint8_t es8388_addr);
+        gpio_num_t pa_pin, uint8_t es8388_addr, bool input_reference = false);
     virtual ~Es8388AudioCodec();
 
     virtual void SetOutputVolume(int volume) override;

main/boards/yunliao-s3/README.md

@@ -0,0 +1,88 @@
+# 小智云聊S3
+
+## 简介
+小智云聊S3是小智AI的魔改项目，是首个2.8寸护眼大屏+大字体+2000mah大电池的量产成品，做了大量创新和优化。
+
+## 合并版
+合并版代码在小智AI主项目中维护，跟随主项目的一起版本更新，便于用户自行扩展和第三方固件扩展。支持语音唤醒、语音打断、OTA、4G自由切换等功能。
+
+>### 按键操作
+>- **开机**: 关机状态，长按1秒后释放按键，自动开机
+>- **关机**: 开机状态，长按1秒后释放按键，标题栏会显示'请稍候'，再等2秒自动关机  
+>- **唤醒/打断**: 正常通话环境下，单击按键
+>- **切换4G/Wifi**: 启动过程或者配网界面，1秒钟内双击按键（需安装4G模块）
+>- **重新配网**: 开机状态，1秒钟内三击按键，会自动重启并进入配网界面
+
+## 魔改版
+魔改版由于底层改动太大，代码单独维护，定期合并主项目代码。
+
+>### 为什么是魔改
+>- 首个实现微信二维码配网。
+>- 首个支持单手机配网。
+>- 首个支持扫二维码访问控制台。
+>- 首发支持繁体、日文、英文版界面
+>- 首个全语音操控模式
+>- 独家提供一键刷机脚本等多种刷机方式
+
+## 版本区别
+>| 特性 | 合并版 | 魔改版 |
+>| --- | --- | --- |
+>| 语音打断 | ✓ | ✓ |
+>| 4G功能 | ✓ | ✓ |
+>| 自动更新固件 | ✓ | X |
+>| 第三方固件支持 | ✓ | X |
+>| 天气待机界面 | X | ✓  |
+>| 闹钟提醒 | X | ✓  |
+>| 网络音乐播放 | X | ✓  |
+>| 微信扫码配网 | X | ✓  |
+>| 单手机配网 | X | ✓  |
+>| 扫码访问控制台 | X | ✓  |
+>| 繁日英文界面 | X | ✓  |
+>| 多语言支持 | X | ✓  |
+>| 外接蓝牙音箱 | X | ✓  |
+
+
+# 编译配置命令
+
+**克隆工程**
+
+```bash
+git clone https://github.com/78/xiaozhi-esp32.git
+```
+
+**进入工程**
+
+```bash
+cd xiaozhi-esp32
+```
+
+**配置编译目标为 ESP32S3**
+
+```bash
+idf.py set-target esp32s3
+```
+
+**打开 menuconfig**
+
+```bash
+idf.py menuconfig
+```
+
+**选择板子**
+
+```bash
+- `Xiaozhi Assistant` → `Board Type` → 选择 `小智云聊-S3` → 选择 `Enable Device-Side AEC`
+```
+
+**编译**
+
+```ba
+idf.py build
+```
+
+**下载并打开串口终端**
+
+```bash
+idf.py build flash monitor
+```
+

main/boards/yunliao-s3/config.h

@@ -0,0 +1,59 @@
+#ifndef _BOARD_CONFIG_H_
+#define _BOARD_CONFIG_H_
+
+#include <driver/gpio.h>
+
+#define AUDIO_INPUT_REFERENCE       true
+
+#define AUDIO_INPUT_SAMPLE_RATE     24000
+#define AUDIO_OUTPUT_SAMPLE_RATE    24000
+#define AUDIO_DEFAULT_OUTPUT_VOLUME 70
+
+#define AUDIO_I2S_GPIO_MCLK GPIO_NUM_14
+#define AUDIO_I2S_GPIO_BCLK GPIO_NUM_13
+#define AUDIO_I2S_GPIO_WS   GPIO_NUM_11
+#define AUDIO_I2S_GPIO_DOUT GPIO_NUM_12
+#define AUDIO_I2S_GPIO_DIN  GPIO_NUM_10
+
+#define AUDIO_CODEC_PA_PIN       GPIO_NUM_17
+#define AUDIO_CODEC_I2C_SCL_PIN  GPIO_NUM_21
+#define AUDIO_CODEC_I2C_SDA_PIN  GPIO_NUM_18
+#define AUDIO_CODEC_ES8388_ADDR ES8388_CODEC_DEFAULT_ADDR
+
+#define BOOT_BUTTON_PIN         GPIO_NUM_2
+#define BOOT_5V_PIN             GPIO_NUM_3      //5V升压输出
+#define BOOT_4G_PIN             GPIO_NUM_5      //4G模块使能
+#define MON_BATT_PIN            GPIO_NUM_43    	//检测PMU电池指示
+#define MON_BATT_CNT            70    	        //检测PMU电池秒数
+#define MON_USB_PIN				GPIO_NUM_47    	//检测USB插入
+
+
+#define ML307_RX_PIN            GPIO_NUM_16
+#define ML307_TX_PIN            GPIO_NUM_15
+
+#define DISPLAY_SPI_LCD_HOST    SPI2_HOST
+#define DISPLAY_SPI_CLOCK_HZ    (40 * 1000 * 1000)
+#define DISPLAY_SPI_PIN_SCLK    42
+#define DISPLAY_SPI_PIN_MOSI    40
+#define DISPLAY_SPI_PIN_MISO    -1
+#define DISPLAY_SPI_PIN_LCD_DC  41
+#define DISPLAY_SPI_PIN_LCD_RST 45
+#define DISPLAY_SPI_PIN_LCD_CS  -1
+#define DISPLAY_PIN_TOUCH_CS    -1
+
+#define DISPLAY_BACKLIGHT_PIN   GPIO_NUM_46
+#define DISPLAY_BACKLIGHT_OUTPUT_INVERT false
+
+#define DISPLAY_WIDTH   320
+#define DISPLAY_HEIGHT  240
+#define DISPLAY_SWAP_XY true
+#define DISPLAY_MIRROR_X false
+#define DISPLAY_MIRROR_Y true
+#define DISPLAY_INVERT_COLOR false
+#define DISPLAY_RGB_ORDER_COLOR LCD_RGB_ELEMENT_ORDER_RGB
+
+#define DISPLAY_OFFSET_X  0
+#define DISPLAY_OFFSET_Y  0
+#define KEY_EXPIRE_MS   800
+
+#endif // _BOARD_CONFIG_H_

main/boards/yunliao-s3/config.json

@@ -0,0 +1,11 @@
+{
+    "target": "esp32s3",
+    "builds": [
+        {
+            "name": "yunliao-s3",
+            "sdkconfig_append": [
+                "CONFIG_USE_DEVICE_AEC=y"
+            ]
+        }
+    ]
+}