[SDK] Бенчмаркинг и тестирование компиляторов Опции

[macron]

Сборка ускоренных компиляторов для СДК ТЧ v3.9

Что добавлено:
v3.9
добавлен imagecfg
добавлен project patcher
добавлен 2215 patcher
добавлены компиляторы 2215, 2365, 2588 адаптированные под ТЧ
всем экзешникам добавлена поддержка LARGE_ADDRESS_AWARE

Вобщем добавлены компиляторы билдов 2xxx под SDK ТЧ и собраны все наработки по ТЧ-компиляторам за последние годы. Компилятор 2215 от Diablo в свое время много тестировался, остальные мало. Какие будут глюки или отличия, проверяйте сами, если это кому-то еще интересно.

ЗЫ: скорость по бенч-карте больше мерить не надо.

Сообщение отредактировал macron - 18.09.2012, 00:28

[abramcumner]

hi_flyer, компилятор. Какой на i7 быстрее скомпилит.

Тот же самый, что и на макроновском и5

[macron]

Представляю XRLC BENCH 2013. Это самодостаточный бенч компилей. Включает билдовские/ТЧ/ЗП компили. Основан на реальной (не синтетической) карте. Результаты тестов на одном и том же процессоре могут кардинально отличаться в зависимости от операционной системы.
Спасибо товарищу KDit за сотрудничество.

http://yadi.sk/d/ELG4_3Qk4Cx8z

Установка: разархивировать в любое место на диске. SDK не нужен. Не совать в SDK!
Первыми запускать xrLC_*.cmd. По окончании можно запускать xrDO_*.cmd.


Примерное время компиляции на разогнанном процессоре core i5 3570k (4ядра @ 4700MHz):

b1-build2215_xrLC XP 32bit 0:16:48
b1-build2215_xrLC W7 64bit 0:13:32

b2-build2215_xrLC_1core XP 32bit 0:42:08
b2-build2215_xrLC_1core W7 64bit 0:13:00

b3-build2365_xrLC XP 32bit 0:17:12
b3-build2365_xrLC W7 64bit 0:13:07

b4-build2365_xrLC_1core XP 32bit 0:39:31
b4-build2365_xrLC_1core W7 64bit 0:12:06

b5-build2588_xrLC XP 32bit 0:17:28
b5-build2588_xrLC W7 64bit 0:12:28

b6-build2588_xrLC_1core XP 32bit 0:40:37
b6-build2588_xrLC_1core W7 64bit 0:12:08

bA-build2215_xrDO XP 32bit 0:13:02
bA-build2215_xrDO W7 64bit 0:12:51

bB-build2365_xrDO XP 32bit 0:13:03
bB-build2365_xrDO W7 64bit 0:13:03

bC-build2588_xrDO XP 32bit 0:13:03
bC-build2588_xrDO W7 64bit 0:13:03

s01-SHoC_xrLC_default XP 32bit 1:16:39
s01-SHoC_xrLC_default W7 64bit 0:11:38

s02-SHoC_xrLC_haron XP 32bit 1:16:56
s02-SHoC_xrLC_haron W7 64bit 0:11:40

s03-SHoC_xrLC_haron_1core XP 32bit 1:08:28
s03-SHoC_xrLC_haron_1core W7 64bit 0:11:41

s04-SHoC_xrLC_bardak XP 32bit 0:26:21
s04-SHoC_xrLC_bardak W7 64bit 0:19:25

s05-SHoC_xrLC_bardak_1core XP 32bit 0:36:09
s05-SHoC_xrLC_bardak_1core W7 64bit 0:19:27

s06-SHoC_xrLC_bardak_1core_extra XP 32bit 0:36:07
s06-SHoC_xrLC_bardak_1core_extra W7 64bit 0:22:35

s07-SHoC_xrLC_FIXXED_mortarion XP 32bit 1:17:54
s07-SHoC_xrLC_FIXXED_mortarion W7 64bit 0:13:10

s08-SHoC_xrLC_FIXXED_mortarion_1core XP 32bit 1:14:50
s08-SHoC_xrLC_FIXXED_mortarion_1core W7 64bit 0:13:10

s09-SHoC_xrLC_FIXXED_haron XP 32bit 1:18:36
s09-SHoC_xrLC_FIXXED_haron W7 64bit 0:13:04

s10-SHoC_xrLC_FIXXED_haron_1core XP 32bit 1:14:08
s10-SHoC_xrLC_FIXXED_haron_1core W7 64bit 0:13:09

sA-SHoC_xrDO_default XP 32bit 0:57:51
sA-SHoC_xrDO_default W7 64bit 0:12:19

sB-SHoC_xrDO_haron XP 32bit 0:57:53
sB-SHoC_xrDO_haron W7 64bit 0:12:21

sC-SHoC_xrDO_bardak XP 32bit 0:24:29
sC-SHoC_xrDO_bardak W7 64bit 0:14:07

z1-COP_xrLC_test XP 32bit 0:07:15
z1-COP_xrLC_test W7 64bit 0:07:17

zA-COP_xrDO XP 32bit 0:06:14
zA-COP_xrDO W7 64bit 0:06:12

Сообщение отредактировал macron - 21.04.2013, 00:04

[hi_flyer]

macron,
Cпасибо, попробуем потестить.
Зы, сам всегда юзаю xrLC от 2588. Потому что только он единственный компилит карты с кол-вом объектов больше 6000 (как например в старой припяти).

[Traks]

Такой вопрос, компилятор ЗП может использовать более 4-х потоков? Есть ли смысл брать 8-ми ядерный процессор? Просто интересно есть ли смысл брать AMD FX 8320.

Сообщение отредактировал Traks - 21.04.2013, 12:35

[abramcumner]

Такой вопрос, компилятор ЗП может использовать более 4-х потоков? Есть ли смысл брать 8-ми ядерный процессор?

Дефолтный по-моему 8 потоков создает. А у макрон/хароновских ускорение за счет того, что они вместо 8 используют 4. Так что по идее на 8-ядерном дефолтный должен хорошо пойти.

[macron]

Такой вопрос, компилятор ЗП может использовать более 4-х потоков?

На i7-3930K 3200MHz (6 ядер + HT) распознал 12 потоков. Общая средняя загрузка была около 65%. Я примерно прикинул, сравнивая со своим i5-4700MHz на 4 ядрах, что на 4 ядрах при частоте 3200MHz время компиляции должно быть 10:35. Однако на i7-3930K 3200MHz результат получился 7:35. То есть за счет доп. ядер/HT. получился выигрыш 3 минуты, и в данном случае компилятор ЗП использовал более 4 потоков. А насчет конкретно AMD пусть лучше отпишутся их обладатели, хотя бы только по z1-COP_xrLC_test. В диспетчере задач хорошо видно распределение нагрузки по ядрам.

Сообщение отредактировал macron - 21.04.2013, 13:50

[Traks]

Спасибо за ответы, услышать бы еще владельцев AMD FX - вообще было бы хорошо.

[hi_flyer]

Кстати, почему считается что ТЧ компилятор работает на одном ядре? Просчитка лайтмапов например у меня загружает все 4 ядра на 100% на любом ТЧ компиляторе.

[abramcumner]

кем или где считается?

[hi_flyer]

abramcumner,
Да постоянно я видел подобные сообщения. Видимо дело в 32х винде что стоит у большинства юзеров.

[abramcumner]

Не знаю. Не все что пишут на форумах - правда
Еще же бардак правил количество потоков у компилятора.

Винды совершенно не причем.

Сообщение отредактировал abramcumner - 21.04.2013, 19:40

[Veresk]

добавлю свои результаты

система 1. Core i7-3770k 3.5 GHz WinXP Sp3 32bit

система 2. Xeon X5650 2.67 GHz WinServer 2008 R2 Sp1 64bit

z1-COP_xrLC_test.cmd

с.1 8.49

с.2 10.33

s01-SHoC_xrLC_default.cmd

с.1 1.36.35

с.2 15.48

выводы:
1. использование 64 битной системы обязятельно для компиляции.
2. чистая гигагерцовость рулит (сравниваю свой i7 меньшей частотs и i5 macron большей). Надо бы проверить как оно будем на АМДшных процах, которые всегда славились мощностью математического блока.
3. современные домашние компы (на Intel Core i5/7) сравнялись с серверными процами по мощности и сильно обходят их по цене.

Спасибо за ответы, услышать бы еще владельцев AMD FX - вообще было бы хорошо

выйду на работу протестирую на AMD Athlon II X4 750K (ядро Trinity. частота 3.4 GHz. c Turbo Core 3.0 (увеличение частоты ЦП до 4,0 ГГц))

Сообщение отредактировал Veresk - 21.04.2013, 19:49

[macron]

1. использование 64 битной системы обязятельно для компиляции.

Для ЗПшного компиля особой разницы нет, он и под 32 неплохо оптимизирован. А для серьезной компиляции большой локи, дабы в память не упереться, конечно лучше 64.

Надысь проверил z1-COP_xrLC_test на P4-3000, XP, оба потока грузились на 100%.
Результат 1:33:22
Вывод: P4 как был кАкой с момента выхода, так кАкой и остался.

Сообщение отредактировал macron - 22.04.2013, 19:26

[macron]

Зы, сам всегда юзаю xrLC от 2588. Потому что только он единственный компилит карты с кол-вом объектов больше 6000 (как например в старой припяти).

Тут дело не в объектах, а в общем количестве файлов из путей fsgame.ltx. Перед началом работы компилятор пытается пересчитать и закешировать все подряд, не важно, в объектах или в gamedata\textures. Смахивает на идиотизм. Я тут поэкспериментировал:

для CoP максимум примерно 3683 файлов (1927Kb памяти),
для SHoC максимум примерно 3880 файлов (1644Kb памяти),
а в 2365/2588 для того же количества файлов требуется всего 432Kb памяти, то есть в 4 раза меньше. Наверно поэтому не вылетают.

Сообщение отредактировал macron - 23.04.2013, 03:06

[hi_flyer]

macron,
Кстати, ещё он у меня быстрее всех из ТЧ-компиляторов работает.

[Shoкer]

macron, можно поподробней? То есть чтобы на ЗПшных компилях собирать более детальные локации, можно из textures\rawdata перед компиляцией убирать не используемые текстуры\объекты или как?

[abramcumner]

macron, можно поподробней? То есть чтобы на ЗПшных компилях собирать более детальные локации, можно из textures\rawdata перед компиляцией убирать не используемые текстуры\объекты или как?

Это только если у тебя компилятор/сдк крешится при запуске. Если запускается, то ничем не поможет.

[macron]

можно поподробней? То есть чтобы на ЗПшных компилях собирать более детальные локации, можно из textures\rawdata перед компиляцией убирать не используемые текстуры\объекты или как?

Файлы в папке rawdata\objects\levels, где они со временем могут накапливаться тысячами, рекомендую держать в отдельных 7z-архивах, по архиву на уровень, тогда и переносить не надо будет. А вот папку gamedata\textures\lod перед компиляцией временно переношу вне SDK, у меня там несколько тысяч файлов, и компиль крешится сразу при запуске.

[aka_sektor]

Декомпилировал локацию l02_garbage из build 2205.
Удалил с неё вейпойнты и спавн-элементы (т.с. убрал мусор), путём удаления файлов spawn.part и way.part.
Поставил level_changer, и graph_point - настроил их.
(удалил сектора, создал их; просчитал порталы)
Сделал в X-Ray SDK 0.4, Compile -> Build - прошло успешно.
Начал компилировать ускоренными компиляторами для ТЧ (с присутствием обхода ошибки Invalid Face (Mortarion,Haron,Macron,Bardak). Конкретно: 08-Bench!_bardak_macron_extra (Bench_xrLC_extra_v38)

Код

@start bins\compiler\xrLC_bardak_macron_extra.exe -f l02_garbage

Произошла ошибка:

Код

FATAL ERROR

[error]Expression : assertion failed
[error]Function : b_BuildTexture::Vflip
[error]File : d:\xray-svn\xrlc\build.h
[error]Line : 30
[error]Description : pSurface

По инструкции к вылету, что здесь: http://stalkerin.gameru.net/wiki/index.php...e=Категория:FAQ
Добавил недостающие текстуры (конвертировал в .tga), которые указывались в логе.

Теперь компиляция останавливается, почти не начавшись.

Лог

* Detected CPU: AuthenticAMD , F15/M4/S3, 3114.00 mhz, 71-clk 'rdtsc'
* CPU Features: RDTSC, MMX, 3DNow!, SSE, SSE2


Initializing File System...
FS: 36745 files cached, 4995Kb memory used.
Init FileSystem 0.544848 sec
'xrCore' build 0, (null)


"LevelBuilder v4.1" beta build
Compilation date: Apr 10 2007


Startup time: 02:22:11


* New phase started: Reading project [l02_garbage]...
| | version: 17


* New phase started: Converting data structures...
| Vertices...
| | * vertices: 564591
| Faces...
| | * faces: 958021
| Models and References
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0000' - v(1276/1276), f(2016/2016)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0001' - v(1393/1393), f(2258/2258)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0002' - v(1252/1252), f(1992/1992)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0003' - v(611/611), f(1072/1072)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0004' - v(264/264), f(510/510)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0005' - v(2022/2022), f(3534/3534)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0006' - v(428/428), f(680/680)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0007' - v(337/337), f(566/566)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0008' - v(320/320), f(384/384)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0009' - v(173/173), f(208/208)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0010' - v(611/611), f(1072/1072)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0011' - v(288/288), f(534/534)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0012' - v(499/499), f(544/544)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0013' - v(2054/2054), f(3654/3654)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0014' - v(741/741), f(1175/1175)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0015' - v(371/371), f(621/621)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0016' - v(396/396), f(648/648)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0017' - v(563/563), f(830/830)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0018' - v(371/371), f(621/621)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0019' - v(548/548), f(800/800)
| | * Loading model: 'levels\l02_garbage\l02_garbage_lod0020' - v(396/396), f(648/648)
| Other transfer...
| | * materials: 356
| | * shaders: 6
| | * shaders_xrlc: 6
| | * glows: 35
| | * portals: 43
| | * LODs: 21
| Loading lights...
| | *lighting*: HEMI: 7 lights
| | *lighting*: SUN: 1 lights
| | *lighting*: STATIC: 28 lights
| | * d-lights: 35
| Processing textures...
* ImageLibrary version: 2.5.4
* 25 supported formats
| | processing: rawdata\textures\glow\glow_orange_bright.thm
| | - loading: glow\glow_orange_bright
| | processing: rawdata\textures\glow\glow_fire1.thm
| | - loading: glow\glow_fire1
| | processing: rawdata\textures\fx\fx_volumefog1.thm
| | - loading: fx\fx_volumefog1
| | processing: rawdata\textures\glow\glow_yellow.thm
| | - loading: glow\glow_yellow
| | processing: rawdata\textures\glow\glow_anamorphic.thm
| | - loading: glow\glow_anamorphic

Кто-нибудь сталкивался с подобным?

Сообщение отредактировал aka_sektor - 10.06.2013, 21:47

[K.D.]

glow\glow_anamorphic

Текстуры нет.