GAMEINATOR forums > [SDK] Бенчмаркинг и тестирование компиляторов

Помощь - Поиск - Пользователи - Календарь

Полная версия этой страницы: [SDK] Бенчмаркинг и тестирование компиляторов

GAMEINATOR forums > S.T.A.L.K.E.R. > Мастерская: создание модов для S.T.A.L.K.E.R.

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9

Feldar

06.04.2009, 00:44

У меня такая проблема:Пробовал все компиллеры из бенча, результат был такой гдето 0т 4-13 минут не меньше !!!

конфигурация такая:

Phenom 9550, 2200 MHz
Gigabyte GA-MA790X-DS4
3072 Мб (DDR2-1100 DDR2 SDRAM)
NVIDIA GeForce 9800 GTX/9800 GTX+ (512 Мб)
ОС: WinХР32

Причем на C2D было все раза в два быстрее...

????

macron

06.04.2009, 02:03

Цитата(Feldar @ 06.04.2009, 01:44)

У меня такая проблема:Пробовал все компиллеры из бенча, результат был такой гдето 0т 4-13 минут не меньше !!!

Убей вирусы, антивирусы поставь на паузу, выгрузи из памяти все лишние программы и процессы, обнови биос, отключи там все энергосберегающие функции, переставь винду, поставь все дрова, купи C2D. Еще на время экспериментов можешь 2 ядра отключить. Здесь вроде так тестили:
http://www.gameru.net/forum/index.php?show...st&p=656707

Feldar

06.04.2009, 02:23

Цитата(macron @ 06.04.2009, 03:03)

Цитата(Feldar @ 06.04.2009, 01:44)

У меня такая проблема:Пробовал все компиллеры из бенча, результат был такой гдето 0т 4-13 минут не меньше !!!

Дык у меня чистая винда. и производительность я выставил на максимум.

Feldar

17.05.2009, 23:13

Самое интересное, что дефолтовый xrLC на одном ядре работает раза в полтора быстреее чем ускоренный)
Это я смотрел на высоком качестве.

macron

08.07.2009, 12:34

Сравнительные результаты тестов компиляторов v3.4 на core2 6600 (2 ядра) @2400 MHz:

01-Bench!_default - 22 мин 56 сек

02-Bench!_haron - 22 мин 48 сек

03-Bench!_macron - 14 мин 04 сек (основан на принудительном использовании только 1 ядра)

04-Bench!_bardak - 9 мин 25 сек

05-Bench!_FIXXED_mortarion - 22 мин 48 сек

06-Bench!_FIXXED_macron - 14 мин 47 сек (основан на принудительном использовании только 1 ядра)

07-Bench!_bardak_macron - 4 мин 35 сек (основан на принудительном использовании только 1 ядра)

08-Bench!_bardak_macron_extra - 4 мин 35 сек (на реальных картах прирост до 12% по сравнению с тестом 07)

09-Bench!_FIXXED_haron - 22 мин 52 сек

10-Bench!_FIXXED_haron_macron - 14 мин 35 сек (основан на принудительном использовании только 1 ядра)

11-Bench!_CS_default - 2 мин 38 сек !!! (на двухядерниках работает корректно, то есть грузит каждое ядро на 100%, но компилит только тестовую карту, так как заточен под ЧН-проекты)

HikeR

08.07.2009, 15:26

вопрос на засыпку, а не тестировали одновременный запуск 2-х компиляторов с принудительным раскидыванием их по ядрам? общее время сильно увеличится?

macron

09.07.2009, 20:12

Цитата(HikeR @ 08.07.2009, 16:26)

Проверил. Правда, пришлось немного подправить компилятор, чтобы сам выбирал свободное ядро. Да, на тестовой карте одновременный запуск двух одинаковых компилей (точнее двойной запуск 07-Bench!_bardak_macron) заработал. Причем, запускалось все из одной и той же папки. Общее время практически не изменилось, то есть каждый компиль выдал где-то 4 мин 37 сек +- 10 сек. Вобщем, в теории возможна одновременная компиляция двух карт сразу за одно время. Буду экспериментировать.

Сталкероненавистник

24.03.2010, 12:30

macron,
Плюс за новость

macron

02.06.2010, 15:50

Новая версия v3.8

Основные изменения:
-удалены нерабочие/несовместимые с ТЧ компиляторы
-некоторые пофиксены для корректной работы на многоядерниках
-работает меню дополнительных опций компиляции (через добавление в батник параметра -o)
-возможность одновременной компиляции двух карт на многоядерниках
-добавлены рекомендации и описание типичных ошибок

Респект тов. FL!NTу за сотрудничество и поддержку.

зеркало http://narod.ru/disk/21439921000/Bench_xrL...tra_v38.7z.html
зеркало http://depositfiles.com/files/1vztl2mi3
зеркало http://rapidshare.com/files/394407582/Benc...LC_extra_v38.7z

Р.М.А.

11.08.2010, 13:53

Протестировал некоторые компиляторы на тестовой локации BenchMap.
Процессор Intel Core i7-930 (4 ядра) @2800 MГц, XP SP3 (32-бит), 4 ГБ оперативы.

Результат:
01-Bench!_default - 00:13:03

02-Bench!_haron - 00:13:00

03-Bench!_haron_macron - 00:09:16

04-Bench!_bardak - 00:03:32

07-Bench!_bardak_macron - 00:03:10

08-Bench!_bardak_macron_extra - 00:03:08

11-Bench!_CS_default - 00:01:09

Две карты одновременно:
12-2maps_mode_bardak - 00:03:28 + 00:03:34

13-2maps_mode_bardak_macron - 00:03:09 + 00:03:10

Четыре карты одновременно:
14-4maps_mode_bardak - 00:04:05 + 00:04:11 + 00:04:13 + 00:04:20

15-4maps_mode_bardak_macron - 00:03:14 + 00:03:14 + 00:03:15 + 00:03:15

Восемь карт одновременно:
17-8maps_mode_bardak_macron - 00:04:12 + 00:04:21 + 00:04:21 + 00:04:29 + 00:04:29 + 00:04:32 + 00:04:34 + 00:04:39

Не тестировались:
05-Bench!_FIXXED_mortarion
06-Bench!_FIXXED_mortarion_macron
09-Bench!_FIXXED_haron
10-Bench!_FIXXED_haron_macron

Pihan13

17.08.2010, 13:03

Во общем тестировал тоже компиль, только не на бенчмарке, а на своей карте

Стандартный - 10:07
02haron - 10:05
03haron_macron - 16:59
04bardak - 6:27
05FIXXED_mortarion - 10:06 (после нажатия на ОК, вылетел)
06FIXXED_mortarion_macron - 17:23 (вылетел после ОК)
07bardak_macron - 12:07
08bardak_macron_extra - 12:27

Как видно, почти все компиляторы проигрывают стандартному, только 04bardak выигрывает у стандартного ~45%
Система
Intel Pentiun Dual-Core E2160 1.8 Ghz (разогнан до 2.88ГГц)
ОЗУ DDR2 2048 mb
XP SP3 (32)

Trollz0r

17.08.2010, 14:28

Результаты бенча компилей v3.8
AMD Athlon 64 X2 Dual Core Processor 4200+, RAM DDR2 800 4GB, Vista x64 SP2

01-Bench!_default: 00:03:22

02-Bench!_haron: 00:03:28

03-Bench!_haron_macron: 00:03:27

04-Bench!_bardak: 00:03:11

05-Bench!_FIXXED_mortarion: 00:03:46

06-Bench!_FIXXED_mortarion_macron: 00:04:06

07-Bench!_bardak_macron: 00:03:10

08-Bench!_bardak_macron_extra: 00:05:14

09-Bench!_FIXXED_haron: 00:03:47

10-Bench!_FIXXED_haron_macron: 00:03:42

12-2maps_mode_bardak: 00:05:29 и 00:05:30

13-2maps_mode_bardak_macron: 00:05:22 и 00:05:27

FL!NT

27.09.2010, 12:03

macron, CPU Intel Core i7-930 разгон 3,5 ГГц, XP х64 SP2 , RAM 6 ГБ

1 - 00:01:04
2 - 00:01:04
3 - 00:02:33
4 - 00:01:28
5 - 00:01:05
6 - 00:02:51
7 - 00:02:43
8 - 00:02:36
9 - 00:01:10
10- 00:02:47
12- 00:01:34 00:01:35
13- 00:02:33 00:02:33

Будет время затестЮ на чем ни будь более серьезном )))

Chopku

27.09.2010, 13:05

у меня быстрей всего компилит стандартный и номер 7...
нет смысла в 2 и более ядрах)компилятор юзает одно вроде

FL!NT

27.09.2010, 13:21

[Chopku], Открой таск менеджер и все уведешь сам

Р.М.А.

09.03.2011, 20:41

Немного изменил систему по сравнению с тем, что я выкладывал ранее: Прежний тест
Теперь она выглядит так:
Процессор Intel Core i7-930 @2800 MГц, Win7 SP1 (64-бит), 8 ГБ ОЗУ

и получил интересный результат:
01-Bench!_default - 00:01:12
02-Bench!_haron - 00:01:14
03-Bench!_haron_macron - 00:01:10
04-Bench!_bardak - 00:01:46
05-Bench!_FIXXED_mortarion - 00:01:16
07-Bench!_bardak_macron - 00:01:46
08-Bench!_bardak_macron_extra - 00:03:12
11-Bench!_CS_default - 00:01:10
12-2maps_mode_bardak - 00:01:45 + 00:01:47

Если сравнивать с прежними и с результатами FL!NT, напрашивается вывод, что такое отличие из-за перехода на 64-битную архитектуру. Причём заметил, теперь при компиляции процессор нагружен на 100%, в то время, как на WinXP x32 загрузка ЦП достигала максимум 30%, то есть одно ядро. А вот как это сказалось на времени компиляции реальных карт, точно сказать не могу, но, как warlab на максимальном качестве компилировался 3 часа компилятором 04-Bench!_bardak, так и компилируется.

Pihan13

04.07.2011, 07:46

macron, объясни плиз в чём разница компилей:

http://narod.ru/disk/3331653001/compiliers2010_v2.7z.html

http://narod.ru/disk/21439921000/Bench_xrL...tra_v38.7z.html
и какой лучше использовать для СДК ЗП?

Билдоман

04.07.2011, 07:54

Pihan13,

Первый пак целиком для ЗП, второй - полностью для ТЧ.

Pihan13

04.07.2011, 07:59

Билдоман, а я думал что для ЗП можно использовать ТЧ-компили и наоборот

Ну а по скорости же v.2 лучше всёравно?)

Билдоман

04.07.2011, 08:44

Цитата(Pihan13 @ 04.07.2011, 08:59)

ЗП можно использовать ТЧ-компили

Можно, компилишь локи под ЗП и правишь лайтмапы. С ТЧ аналогично.

Trollz0r

04.07.2011, 08:55

По качеству рендеринга ЗП компилеры проигрывают ТЧшным.

Так что стоит ли их использовать под ТЧ - вопрос.

FL!NT

04.07.2011, 09:40

Хм. А разве компиль ТЧ берет локи собранные в СДК 0.5-0.7 и на оборот? Они вроде вылетают по несовместимости версий. Или я что то пропустил?

Цитата(RedPython @ 04.07.2011, 11:55)

По качеству рендеринга ЗП компилеры проигрывают ТЧшным.

Так что стоит ли их использовать под ТЧ - вопрос.

И по сварке вертексов то же).

Trollz0r

04.07.2011, 10:04

Цитата(FL!NT @ 04.07.2011, 10:40)

А разве компиль ТЧ берет локи собранные в СДК 0.5-0.7 и на оборот? Они вроде вылетают по несовместимости версий. Или я что то пропустил?

Не берет, форматы *.part разные

тут тоже можно сделать свой конвертер, но овчинка не стоит выделки, я думаю.

Билдоман

04.07.2011, 10:25

Цитата(FL!NT @ 04.07.2011, 10:40)

А разве компиль ТЧ берет локи собранные в СДК 0.5-0.7 и на оборот?

Нет. Собираешь локацию под ЗП, и переделываешь аналогично стандартным (Затон и КО.)

PS: Но за производительность можно сильно поплатиться графикой.

FL!NT

04.07.2011, 11:09

Цитата(RedPython @ 04.07.2011, 13:04)

Не берет, форматы *.part разные

тут тоже можно сделать свой конвертер, но овчинка не стоит выделки, я думаю.

Ну level то же стал текстовым, а как раз part не все). Только то что для xrLC, детейлы и по моему АИ остались те же.

Цитата(Билдоман @ 04.07.2011, 13:25)

переделываешь аналогично стандартным (Затон и КО.)

не понял, расшифруй для особо тупых
А вообще цель то должна быть повышение качества, а не принцип скомпилировать.))

Билдоман

04.07.2011, 11:15

Цитата(FL!NT @ 04.07.2011, 12:09)

расшифруй для особо тупых

Лайтмапы править, чтобы не было чёрных теней.

FL!NT

04.07.2011, 11:42

спасибо за разъяснения.) НО господа видимо вы не понимаете разницу в ТЧ и ЧН/ЗП комплями. ТЧ компиль строит более качественные Shadow mask но имеет слабую модель АО, в тоже время ЧН/ЗП компиль делает качественный просчет АО.

Билдоман

04.07.2011, 11:51

Цитата(FL!NT @ 04.07.2011, 12:42)

вы не понимаете

Понимаем.

Как ни крути, но всё же локации скомпиленные ТЧ-компиляторами красивее выглядят как на ТЧ, так и на ЧН/ЗП.

FL!NT

04.07.2011, 12:00

к сожалению вроде как нет метода объединить оба варианта

Цитата(Билдоман @ 04.07.2011, 14:51)

Цитата(FL!NT @ 04.07.2011, 12:42)

вы не понимаете

Понимаем.

Как ни крути, но всё же локации скомпиленные ТЧ-компиляторами красивее выглядят как на ТЧ, так и на ЧН/ЗП.

Впрочем для R2 утверждение спорное

Билдоман

04.07.2011, 12:35

Цитата(FL!NT @ 04.07.2011, 13:00)

Впрочем для R2 утверждение спорное

Лайтмапы поправить.

Те которые с припиской в имени _2.

Да и про r1 забывать нельзя.

FL!NT

04.07.2011, 12:54

Здесь вообще нет ни какой необходимости совершать какие то магические действия, если только вы не хотите получить более качественный R1 на ЧН/ЗП, т.к. на R2 Shadow mask не используется. Нужна только альфа 2й лайтмап (АО).

Впрочем кто сейчас играет на R1

X-Ghost

04.07.2011, 13:00

Цитата(FL!NT @ 04.07.2011, 12:54)

Впрочем кто сейчас играет на R1

Ну я например играю,видеокарта перестала работать,на новую денег нет,вот и сижу со встроенной Nvidia GeForce 6150SE

Билдоман

04.07.2011, 13:12

Цитата(FL!NT @ 04.07.2011, 13:54)

2й лайтмап

О нём и речь, общее количество этих лайтмапов (AO) при компиляции на ТЧ гораздо больше, как и Shadow Mask.

Если его не править то все тени чёрные...

А по поводу r1 - на нём картинка реалистичней, тени не очень резкие, красивые.

В ЧН/ЗП по сравнению с ТЧ несколько по-другому выглядят и тени на R2. Скрины:

ТЧ

ЗП

PS: Хотя это уже совсем другая история...

FL!NT

04.07.2011, 13:23

Цитата(Билдоман @ 04.07.2011, 16:12)

О нём и речь и общее количество этих лайтмапов (AO) при компиляции на ТЧ гораздо больше, как и Shadow Mask.

Ну не надо путать количество лайтмапов и Ambient occlusion который расположен на 2й лайтмапе в альфе. Количество Shadow Mask и АО одинаковое

Билдоман

04.07.2011, 13:28

Цитата(FL!NT @ 04.07.2011, 14:23)

Количество Shadow Mask и АО одинаковое

Я имел ввиду не общее количество, а количество их в ТЧ и ЗП (На АТП ТЧ - 4 Shadow mask и 4 AO, на ЗП - 3 Shadow mask и 3 AO)

Короче:

http://www.gameru.net/forum/index.php?show...t&p=1148098
http://www.gameru.net/forum/index.php?show...t&p=1147986

Цитата(FL!NT @ 27.06.2011, 21:24)

Собственно говоря видимо по этому картинка с ТЧ частенько выглядит лучше.

FL!NT

04.07.2011, 13:37

Общее количество лайтмапов для ТЧ больше, отсюда и тени лучше на статике. Все правильно

Билдоман

04.07.2011, 13:53

Цитата(FL!NT @ 04.07.2011, 14:37)

Общее количество лайтмапов

И AO-лайтмапов тоже.

FL!NT

04.07.2011, 14:02

Рендер АО для ТЧ низкокачественный и толку от него ноль для ЧН/ЗП, только портит картинку. Отсюда вы и правите его.

Билдоман

04.07.2011, 15:26

Цитата(FL!NT @ 04.07.2011, 15:02)

Отсюда вы и правите его.

Нет не от этого, а от того, что при переносе локаций лайтмапы чернеют, так же и на втором рендере с AO. В остальном более-менее нормально, как и на самой ТЧ.

Veresk

18.07.2011, 16:55

Результаты компилей 3.8 на бенчмапе

Intel Xeon X3430/2400.0 MHz/4 core, RAM 4Gb PC3-10600, Windows Server 2003 R2

1. - 1.24
2. - 1.25
3. - 3.21
4. - 1.58
5. - 1.32
6. - 3.41
7. - 3.22
8. - 3.22
9. - 1.27
10. - 3.41

в глаза явно бросается провал всех компиляторов, доработанных by macron

лучшие результаты by haron

Билдоман

18.07.2011, 17:32

Veresk,

Defaut вне конкуренции.

Trollz0r

18.07.2011, 17:34

Цитата(Veresk @ 18.07.2011, 17:55)

Intel Xeon X3430/2400.0 MHz/4 core

Новые наборы инструкций проца и старый компилер - результаты могут быть самыми разными.

stalker petroff

18.07.2011, 20:13

XP SP2
...
* New phase started: LIGHT: LMaps...
| Lighting...
| | 15291.583984 seconds
...
| | Build succesful!
Time elapsed: 05:47:06

Семёрка Ультиматум (32 бит)
...
* New phase started: LIGHT: LMaps...
| Lighting...
| | 2009.733154 seconds
...
| | Build succesful!
Time elapsed: 02:12:14

Тот же СДК, та же самая мапа, те же настройки освещения (1 1 1 4 4 medium), ничего не менялось вообще. Кроме операционки из под которой запускался xrlc. Компиль дефолтный, даже патчей никаких на СДК не стоит.

Так и должно быть (время lighting lmaps на Семёрке сократилось почти в 8 раз)?

Trollz0r

18.07.2011, 20:15

Да, хотя бы потому, что ХР SP2.

Цитата(stalker petroff @ 18.07.2011, 20:25)

То есть дело только в сервиспаке, на SP3 результаты будут примерно одинаковые?

Не факт, что одинаковые, но на СП3 будет быстрее.

stalker petroff

18.07.2011, 20:25

То есть дело только в сервиспаке, на SP3 результаты будут примерно одинаковые?
А то я как то сильно удивился, не ожидал существенных расхождений

macron

19.07.2011, 02:17

Цитата(Veresk @ 18.07.2011, 16:55)

Результаты компилей 3.8 на бенчмапе
Intel Xeon X3430/2400.0 MHz/4 core, RAM 4Gb PC3-10600, Windows Server 2003 R2

В глаза явно бросается провал всех компиляторов, доработанных by macron

Все macron-компили принудительно используют одно ядро на многоядерниках. На P4 и ранних Core2 это приводило к выигрышу в производительности, то есть одно ядро загруженное на 100% работало быстрее, чем два, загруженных наполовину. В твоем случае возможно все ядра загружены на 100%, или же выигрыш идет из-за их количества или серверной винды, грамотнее распределяющей ресурсы. Рекомендую вызвать диспетчер задач и сравнить нагрузку каждого ядра. И кстати где тесты 12 и 13 с одновременной обработкой двух карт?

Veresk

19.07.2011, 09:19

12. - 2.00, 2.03
13. - 3.32, 3.02

во время тестов запустил диспетчер задач. в первом случае загружаются все 4 ядра, во втором только 2. Причина падения производительности понятна. Ну собсно для того бенч и существует, что-бы подобрать лучший компилятор для своей системы

Veresk

19.07.2011, 10:58

проверил на другом компе: Intel Core 2 Quad 8300/4 GB DDR2/ Windows XP SP3
результаты чумовые

1. (Bench!_default) - после 30 минутного томительного ожидания просто принудительно прервал "процесс"
4. (Bench!_bardak) - 28.54
7. (Bench!_bardak_macron) - 4.16
8. (Bench!_bardak_macron_extra) - 4.09

в 1 и 4 случае были заняты все 4 ядра, нагрузка постоянно менялась от ~23% до ~30%
в 7 и 8 одно ядро постоянно (без пиков и спадов) было загружено на 100%

хорошо бы выснить причину токого отличия от первого компа: проц или операционка дают такие результаты.

stalker petroff

19.07.2011, 23:08

Нет, SP3 не вытаскивает, разницы с SP2 практически нет. На XP компилить - только время терять. По крайней мере на моей железяке.

Veresk

26.08.2011, 17:48

настроил новый сервер
Intel Xeon X5650/2670.0 MHz/12 core, RAM 12Gb PC3-10600, Windows Server 2003 R2, бенчмарковская карта

1. - 1 мин. 07 сек.
2. - 1 мин. 07 сек.
3. - 3 мин. 09 сек.
4. - 1 мин. 43 сек.

в принципе можно сделать вывод, что компилятор оптимизирован для серверных многоядерных ксеонов, что в принципе логично, ибо врядли локи компилились на обычных рабочих станциях. жалко нет возможности проверить на оптеронах :-(

Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.