Рекомендуется установить примерные требуемые максимальные значения рабочих файлов и увеличить значение параметра расширения EXTSIZE. Например,

set SY00=<путь к БД>
gendb
SET SYSSRT LIMIT 10000000;
SET SYSWBV LIMIT 10000000;
SET SYSWRK LIMIT 10000000;
SET EXTSIZE 256;
exit;