Если это еще кому интересно, то тут всё немного сложнее.
нужно накидать понравившихся Вам иконок в папку /usr/share/icons/hicolor/РАЗМЕРхИКОНКИ/emblems
согласно требуемому разрешению иконок в формате png
далее в файле своего профиля ~/.fly/theme/current.themetc изменить параметр StartButtonIcon=astra-simplified
astra-simplified на имя файла иконки без указания расширения файла