Если ролики из виндовых приложений, типа "я и Вася щас вам покажем, как наша тулза круто пашет", то можно FastStone Capture - она на получасовые видео делает полугиговые примерно файлики.
А насчет фрапса - нуууу, либо надо в настройки зайти и сказать, чтобы он файлы кусками не резал, либо у тебя раздел, куда он пишет видео, отформатирован в FAT32, а там макс. размер файла- 4 гигабайта.