[SDK] Бенчмаркинг и тестирование компиляторов Опции

[macron]

Сборка ускоренных компиляторов для СДК ТЧ v3.9

Что добавлено:
v3.9
добавлен imagecfg
добавлен project patcher
добавлен 2215 patcher
добавлены компиляторы 2215, 2365, 2588 адаптированные под ТЧ
всем экзешникам добавлена поддержка LARGE_ADDRESS_AWARE

Вобщем добавлены компиляторы билдов 2xxx под SDK ТЧ и собраны все наработки по ТЧ-компиляторам за последние годы. Компилятор 2215 от Diablo в свое время много тестировался, остальные мало. Какие будут глюки или отличия, проверяйте сами, если это кому-то еще интересно.

ЗЫ: скорость по бенч-карте больше мерить не надо.

Сообщение отредактировал macron - 18.09.2012, 00:28

[Билдоман]

Veresk,

Defaut вне конкуренции.

[Trollz0r]

Intel Xeon X3430/2400.0 MHz/4 core

Новые наборы инструкций проца и старый компилер - результаты могут быть самыми разными.

[stalker petroff]

XP SP2
...
* New phase started: LIGHT: LMaps...
| Lighting...
| | 15291.583984 seconds
...
| | Build succesful!
Time elapsed: 05:47:06


Семёрка Ультиматум (32 бит)
...
* New phase started: LIGHT: LMaps...
| Lighting...
| | 2009.733154 seconds
...
| | Build succesful!
Time elapsed: 02:12:14

Тот же СДК, та же самая мапа, те же настройки освещения (1 1 1 4 4 medium), ничего не менялось вообще. Кроме операционки из под которой запускался xrlc. Компиль дефолтный, даже патчей никаких на СДК не стоит.

Так и должно быть (время lighting lmaps на Семёрке сократилось почти в 8 раз)?

[Trollz0r]

Да, хотя бы потому, что ХР SP2.

То есть дело только в сервиспаке, на SP3 результаты будут примерно одинаковые?

Не факт, что одинаковые, но на СП3 будет быстрее.

Сообщение отредактировал RedPython - 18.07.2011, 20:27

[stalker petroff]

То есть дело только в сервиспаке, на SP3 результаты будут примерно одинаковые?
А то я как то сильно удивился, не ожидал существенных расхождений

[macron]

Результаты компилей 3.8 на бенчмапе
Intel Xeon X3430/2400.0 MHz/4 core, RAM 4Gb PC3-10600, Windows Server 2003 R2

В глаза явно бросается провал всех компиляторов, доработанных by macron

Все macron-компили принудительно используют одно ядро на многоядерниках. На P4 и ранних Core2 это приводило к выигрышу в производительности, то есть одно ядро загруженное на 100% работало быстрее, чем два, загруженных наполовину. В твоем случае возможно все ядра загружены на 100%, или же выигрыш идет из-за их количества или серверной винды, грамотнее распределяющей ресурсы. Рекомендую вызвать диспетчер задач и сравнить нагрузку каждого ядра. И кстати где тесты 12 и 13 с одновременной обработкой двух карт?

[Veresk]

12. - 2.00, 2.03
13. - 3.32, 3.02

во время тестов запустил диспетчер задач. в первом случае загружаются все 4 ядра, во втором только 2. Причина падения производительности понятна. Ну собсно для того бенч и существует, что-бы подобрать лучший компилятор для своей системы

Сообщение отредактировал Veresk - 19.07.2011, 09:19

[Veresk]

проверил на другом компе: Intel Core 2 Quad 8300/4 GB DDR2/ Windows XP SP3
результаты чумовые
1. (Bench!_default) - после 30 минутного томительного ожидания просто принудительно прервал "процесс"
4. (Bench!_bardak) - 28.54
7. (Bench!_bardak_macron) - 4.16
8. (Bench!_bardak_macron_extra) - 4.09

в 1 и 4 случае были заняты все 4 ядра, нагрузка постоянно менялась от ~23% до ~30%
в 7 и 8 одно ядро постоянно (без пиков и спадов) было загружено на 100%

хорошо бы выснить причину токого отличия от первого компа: проц или операционка дают такие результаты.

[stalker petroff]

Нет, SP3 не вытаскивает, разницы с SP2 практически нет. На XP компилить - только время терять. По крайней мере на моей железяке.

[Veresk]

настроил новый сервер
Intel Xeon X5650/2670.0 MHz/12 core, RAM 12Gb PC3-10600, Windows Server 2003 R2, бенчмарковская карта

1. - 1 мин. 07 сек.
2. - 1 мин. 07 сек.
3. - 3 мин. 09 сек.
4. - 1 мин. 43 сек.

в принципе можно сделать вывод, что компилятор оптимизирован для серверных многоядерных ксеонов, что в принципе логично, ибо врядли локи компилились на обычных рабочих станциях. жалко нет возможности проверить на оптеронах :-(

Сообщение отредактировал Veresk - 26.08.2011, 17:49

[Veresk]

так как бенчлока невсегда акутально отображает скорость компиляции (из-за своего малого размера и простоты), то провел тест на слегка переделанном кордоне ТЧ (настройки макс, компилятор fixxed mortarion)

старый сервер (Intel Xeon X3430/2400.0 MHz/4 core, RAM 4Gb PC3-10600, Windows Server 2003 R2) - 9 часов 42 минуты
новый сервер (Intel Xeon X5650/2670.0 MHz/12 core, RAM 12Gb PC3-10600, Windows Server 2008 R2 64-bit) - 5 часов 58 минут

отсюда вывод: для полноценной нормальной компиляции серверные многоядерные процы гуд, много оперативы гуд, наличие 64 битной винды обязательно.
Жалко, что отлючена возможность сетевого компила у ТЧовских компиляторов

Сообщение отредактировал Veresk - 02.09.2011, 10:29

[Veresk]

новый сервер (Intel Xeon X5650/2670.0 MHz/12 core, RAM 12Gb PC3-10600

так, от добавления второго аналогичного проца и увеличения оперативы до 48Gb ничего положительного не произошло, время компиляции существенно не изменилось (в пределах погрешности). Походу ускорение теперь можно добиться либо приобретением более скоростного процессора, либо перейти на компиляторы геометрии от ЧН/ЗП

Сообщение отредактировал Veresk - 03.12.2011, 09:11

[kiperenok]

новый сервер (Intel Xeon X5650/2670.0 MHz/12 core, RAM 12Gb PC3-10600

так, от добавления второго аналогичного проца и увеличения оперативы до 48Gb ничего положительного не произошло, время компиляции существенно не изменилось (в пределах погрешности). Походу ускорение теперь можно добиться либо приобретением более скоростного процессора, либо перейти на компиляторы геометрии от ЧН/ЗП

А можешь написать какую локу компилил на максималках и за какое время ?

[Veresk]

любые локи ТЧ (переделаные путём добавления вырезанных перед релизом детелей и других некрупных добавок типа скамеек, мусора, деревьев, кустов и т.д.) не более 9 часов. Подземные локи типа х18 неболее 5 часов.
Видно это предел для сервера, явное упирание в "гигагерцы".
Но, его многоядерность и многогигабайтность без проблем позволяет запускать одновременный компил 4 локаций. На конечном времени это нисколько не отображаеться.

[macron]

так как бенчлока невсегда акутально отображает скорость компиляции

После дооолгих раздумий и я пришёл к такому выводу. Бенчлока более неактуальна. Да и даже на нормальной локе на x64-системе результаты будут отличаться от x32.

ЗЫ: у кого XP, не менее 2gb памяти и желание потестить локи/компиляторы на x64 - ищите в нете дивидюк win7 x64 Live. Загружает виртуальную x64 винду в память, ничего не поганя.

По поводу ТЧ-компилей: помню глюк в них есть, что при компиляции лайтмапа террейна, тени от деревьев получаются без листвы. Как-нибудь проверю билдовые компили на это дело.

Жалко, что отлючена возможность сетевого компила у ТЧовских компиляторов

Не знаю. Последнее время была возможность проверить сетевую компиляцию на ЗП-шных компиляторах на 4 стареньких машинах в сети P4-3000/512ram/xp. Результаты были ужасные. Если лока на одной машине компилилась в среднем 22 минуты, то по сети выходило не менее 18. Это при том, что координатор показывал теоретическую производительность (с учётом всех HT/ядер и т.п.) за 20ГГц. Вобщем больше времени было потрачено на настройку всей этой системы.

Сообщение отредактировал macron - 09.04.2012, 21:57

[Билдоман]

тени от деревьев получаются без листвы.

Это не глюк, нужно текстуры в tga конвертить не конвертёром Бардака, а чем-нибудь другим, что не сжимает. Сам на это напоролся, теперь конвертёром текстуры не мучаю.

[hi_flyer]

Скажите, а 64х битная винда даёт прирост скорости?
Да, и есть в природе версия компилятора от бардака (номер 4) но с возможностью обходить invalid faces?

[macron]

Скажите, а 64х битная винда даёт прирост скорости?

На небардаковских должна.

Да, и есть в природе версия компилятора от бардака (номер 4) но с возможностью обходить invalid faces?

Нет, да это уже мало кого волнует. Сейчас логичнее сразу делать геометрию/декомпилировать/сконвертировать карту под ЗП-SDK. Под него выпущены очень мощные компиляторы, оптимизированные под многоядерники, опционально обходящие invalid faces, и при использовании определенных уловок могущие компилить сверхсложную геометрию даже на допотопных машинах. А уже потом, если понадобится, готовую карту (по инструкциям, идущим в комплекте с этими компиляторами) можно под ТЧ сконвертить. Ссыль:

http://narod.ru/disk/46414046001.8e0e6656c...2010_v3.7z.html

[Trollz0r]

тени от деревьев получаются без листвы.

Это не глюк, нужно текстуры в tga конвертить не конвертёром Бардака, а чем-нибудь другим, что не сжимает. Сам на это напоролся, теперь конвертёром текстуры не мучаю.

Эээ, а в чем проблема-то? Чем отличаются TGA, полученные конвертером (какой версии, кстати?) и TGA, полученные "чем-нибудь другим"?

Код

Image
Format                           : Raw
Codec ID                         : 2
Width                            : 1 024 pixels
Height                           : 1 024 pixels
Color space                      : RGB
Bit depth                        : 32 bits

[Билдоман]

какой версии, кстати?

Очень старой (текстуры на выходе были с сине-зелёным оттенком и сжатые, последний раз эту версию юзал года полтора назад), а теперь я их конвертёром вообще не трогаю, совершенно другой прогой орудую (nvidia_converter-ом тоже не пользуюсь)

По факту, текстуры, полученные через конвертёр, на сотню-полторы килобайт меньше размером.

PS: "Что-нибудь другое" - Contenta Converter Basic

Эээ, а в чем проблема-то?

Проблема описана выше: деревья не отбрасывают тени от листвы. У меня такое было с деревьями, ЛЭП и сеткой-рабицой. При переходе на другой конвертёр для текстур проблема исчезла.

Пожалуйста, переместите оффтоп.

Сообщение отредактировал Билдоман - 02.06.2012, 12:32