Главная страница -> VRTP -> Texнологии -> Разное

Подключил LCD от SE K800i. Пару дней провозился с FMC, пока не отремапил банки, не работал как надо.

Брал в "электронщике". Они, кстати, сейчас цену за девборду увеличили в 1,5 раза !

Сделал двойную буферизацию (пока CPU строит следующий кадр, DMA пересылает на LCD предыдущий), кеширование включено.

Вышло 63 FPS:

А тем временем, произошла адаптация кодека PackMan rev.2 на STM32H743.Новая версия кодека получила название PackMan320.

Графическое разрешение - поднято до 320x240
Число кадров в секунду поднято до 15 FPS (оптимально, работает без заиканий с SD картой 4-го класса скорости)
Число вейвлет-преобразований: 4 (почему не 5, как в предшественнике, предлагаю подумать самим )
FLAC, семплрейт поднят до 30 кГц



Присоединённое изображение (Нажмите для увеличения)

Исходники кодера и декодера PackMan320 для ПК (Win32) + скомпилированные бинарники:


Присоединённый файл ( Кол-во скачиваний: 374 )
 PackMan320_PC_SRC.zip

Исходники декодера PackMan320 + декодера FLAC + FatFs + SDIO + LCD для STM32H743 (отладка Nucleo-H743).

Рабочий плеер Video+Audio. Файлы кидать на SD карту парами (0.fla , 0.pak, 1.fla, 1.pak, ...)

Карта подключена к SDIO1.

Тестовые файлы FLAC + PackMan там же.


Присоединённый файл ( Кол-во скачиваний: 708 )
 PackMan320_H743_SRC.zip

Немножко конвертеров + краткий гайд как конвертить:


Присоединённый файл ( Кол-во скачиваний: 359 )
 _onvert.zip

Видео декодеров PackMan320 + FLAC в действии на игровой консоли на Nucleo-H743:

Таблица подключения периферии к Nucleo-H743 ниже.

У плеера 2 кнопки:

Reset - загрузка новых видео (по порядку: 0 fla/pak, 1 fla/pak, 2,3, ....)
START - пауза/снятие с паузы


Присоединённое изображение (Нажмите для увеличения)

Перенёс MP4 декодер (H264) на STM32H743. Работает вместе с декодером MP3.

Нашёл ошибку в декодере H264, которая проявляется в виде периодических глитчей, которые портят кадры видео:



Присоединённое изображение (Нажмите для увеличения)

Вначале думал, что это из-за несоответствия кодера и декодера. Пробовал жать разными версиями x264, глитчи не исчезли.

В MPC-HC декодируется нормально.

Потом решил портировать другую версию декодера(на нём все нормально), но она требовала 1,5 МБ кучи и не лезла в контроллер. Дальнейшая его оптимизация по минимуму памяти привела как раз к этому глитчу. Это t264, его исходники выкладывал уже здесь.

Причина оказалась в параметре EDGE_WIDTH - он должен быть =48 (значение из референс-кода на avcodec). А во всех китайских исходниках он выставлен =16. Это и явилось причиной глюков, что на картинке выше.

Причем ошибка кочует из одних сорцов в другие. Тот же знаменитый H264_FC.zip , который на http://www.openedv.com/posts/list/13843.htm , и взятый мной код с http://mcodec.cnblogs.com в качестве отправной точки -та же ошибка.

Сейчас там stagefright_h264 - говно редкостное, что-то обмельчали китайцы. Сбилдил, на их примере "butterfly.264" крылья у бабочки размазываются, другие видео при декодировании разваливаются на квадраты........

Поэтому будущее за моим модом h264, с пофиксенными глюками )))
Как зарелижу - выложу! (MP4 + MP3)

Это сообщение отредактировал Gospodin_Riba - Aug 5 2018, 12:05 PM

Video: H264, 320 x 240, 25 FPS, CRF=18
Audio: MP3, 48 kHz, 80 kbps, mono

Требование к видео: baseline, cabac=0, ref=1

Требование к аудио: размер фрейма 1152 байт

Конвертировать видео в YUV420:
ffmpeg -i 0.mp4 -s 320x240 -r 25 -c:v rawvideo -pix_fmt yuv420p -qscale:v 0 -an 320.yuv

Конвертировать YUV420 в H264:
x264.exe --progress --no-cabac --ref 1 --crf 18 --fps 25 -o 0.264 320.yuv 320x240

Конвертировать аудио в PCM:
ffmpeg -i 0.mp4 -ar 48000 -ac 1 -c:a pcm_s16le 0.wav

Узнать максимальную громкость:
ffmpeg -i 0.wav -af "volumedetect" -f null /dev/null

Добавить громкость, если нужно (не более, чем сколько узнали на предыдущем шаге!):
ffmpeg -i 0.wav -af "volume=1.5dB" 1.wav

Конвертировать аудио в MP3:
ffmpeg -i 1.wav -ar 48000 -ac 1 -codec:a libmp3lame -b:a 80k 0.mp3

Полученную пару файлов: 0.264 и 0.mp3 - записать на SD карту.

Пары файлов нумеровать от 0 до 99999999. Пропуск в числах или отсутствие одного из файлов пары - не допускаются!

Кодеки x264 приложил ниже (все три версии в архиве работают с декодером на STM32) :

Присоединённый файл ( Кол-во скачиваний: 231 )
 x264.zip

Исходники декодера h264 + mp3 для STM32H743 (плата Nucleo-H743).

Там же готовая прошивка + файлы для теста(.mp3 + .264)

Присоединённый файл ( Кол-во скачиваний: 583 )
 H264MP3_H743_SRC.zip

Адаптировал h264 + mp3 на плату EmuPocket:

Есть свободные печатные платы устройства(сделанные на заводе) и STM32F407. Пишите мне в личку!