Форум Всеукраїнської інтернет-олімпіади NetOI

Спасибо за ответ, но один вопрос у меня всё же остался.

>если он сочтёт нужным и это не повредит системе

Сразу хочу отметить, что никаких вредоносных действий по отношению к системе я совершать не собираюсь, да и информация, которую я хотел бы получить, никак не поможет мне совершить что-либо вредоносное. К тому же, как показала практика (та DDoS-атака, после которой лежал сайт, к примеру), если кому-то надо нанести вред этой системе, он это может сделать без дополнительных вопросов к жюри.

Задаю я их с одной целью — удостовериться в том, что время выполнения решений измеряется правильно, в чём у меня возникли некоторые сомнения (по личному опыту, не на всех олимпиадах его меряют правильно, не говоря о точности). По сути, время работы решения определяется тем процессорным временем, которое использовал процесс программы решения во время исполнения userspace-кода. Это время несколько отличается от времени, которое проходит от момента запуска процесса (после вызова exec()) до его завершения, поскольку не всё это время процессор занимается выполнением кода именно этого процесса и именно userspace-кода, а не ядерного.

Оба эти времени можно измерить, к примеру, командой time, которая использует библиотечную функцию wait3(). В выводе этой команды по завершению работы измеряемого процесса время в строке "user" означает то процессорное время, которое реально затратил userspace-код процесса, оно является временем работы решения и не зависит от других процессов, выполняющихся в системе, поэтому оно и определяет, какое решение быстрее, и сколько работает данное решение. Время в строке "real" показывает интервал времени от запуска процесса вызовом exec() до завершения exit(). Оно зависит не только от времени выполнения решения, а и от времени выполнения других процессов, "отобравших" квант времени у процесса решения, а также от времени выполнения ядерного кода переключения процессов, поэтому оно не является объективным показателем скорости решения и даже не является величиной для сравнения с другими решениями.

Итак, величиной, годящейся для сравнения скорости решений, является именно строка "user", число в которой — это поле ru_utime структуры rusage. Меня пока что после Вашего ответа интересует только то, используется ли это правильное по моему мнению время для сравнения скорости решений и выставления тайм-лимитов, или же измеряется время "real", величина которого значительно зависит от внешних факторов.

>Проблемы связанные с временем реального исполнения тесно связаны, как Вы сами отметили, с дочерними, а также, теперь дополню я - также с паралельными процессами

Дочерними процессами для тестирующей системы являются процессы с решениями, а параллельные процессы влияют только на время "real", но не на "user", поэтому время "user" является определяющим фактором скорости решения.

>Именно поэтому во время официального тестирования все параллельные процессы блокируются

В это я никак не могу поверить в случае многозадачной системы GNU/Linux. Можно убить максимум процессов, увеличить приоритет процессу решения, уменьшить остальные приоритеты, но полностью блокировать все остальные процессы невозможно — в Linux нет однозадачного режима. И это замечание склоняет меня (до более официального ответа) верить в то, что на этой олимпиаде измеряется "неправильное" время "real", потому что в случае измерения времени "user" необходимости ограничивать посторонние процессы просто нет.

>Если же у Вас есть желание получить более детальную информация, то более целесообразно обратится к тому же Юрию Яковлевичу с личным письмом, где Вы и получите (если он сочтёт нужным и это не повредит системе) необходимые разъяснения.

Если Юрий Яковлевич склонен не обсуждать эту тему на форуме, но обсудить по почте, я могу написать ему по почте.

>После ответа на этот попрос, на вопрос "почему блокируются остальные процессы" Вы себе сами должны дать ответ.

Я задал несколько другой вопрос.

>Я задам один вопрос, на который пострайтесь ответить сами себе: Зависит ли количество тиков (операций) самого процессора от типа операционной системы? (собственно это и есть процессорное время)

Я отвечу немного не на этот вопрос, потому что мне кажется, что вы меня немного не поняли. Я надеюсь, вы согласны, что время, за которое отработало решение — это количество тактов, затраченных процессором на выполнение инструкций из кода решения? Так вот это время можно измерить средствами glibc в Linux непосредственно, не блокируя остальные процессы. Т.е. ядро для каждого процесса считает время, в течение которого процессор занимался выполнением именно этого процесса. Нужный процесс выполняется — счётчики идут, процесс переключился на другой — счётчики приостановились. И это точное время легко измерить командой time (оно показано в строке "user") либо функцией wait3() из родительского процесса, которую, собственно, и использует команда time.

Но мне кажется (из некоторого опыта и информации, полученной от Вас), что тестирующая система здесь измеряет не это время "user", а астрономическое время, прошедшее от запуска процесса, до его завершения (время "real"), при этом стараетесь обеспечить, чтобы большую часть этого времени работает нужный процесс, но в многозадачной системе никогда не получится, что всё это время работает нужный процесс. Более того, невозможно обеспечить, чтобы всегда время "real" было на определённую константу больше, чем время "user". Поэтому, запустив 2 раза одно и тоже решение на одном и том же тесте, мы получим 2 одинаковых результата для времени "user" (ускорение при втором запуске за счёт дискового кэша, кэша процессора не учитываю), но 2 разных результата для времени "real", которые ОЧЕНЬ сильно зависят от посторонних процессов, но даже если минимизировать кол-во посторонних процессов, влияние всё равно будет заметно. Мой вопрос состоял именно в том, использует ли система для проверки тайм-лимитов время "real", которое никогда не бывает объективным, или же время "user", которое объективно показывает время выполнения программы при любых условиях (даже с кучкой запущенных посторонних процессов, даже если они занимают большую часть загруженности процессора)?

Надеюсь, теперь ситуация немного прояснилась, и я смогу узнать, использует ли проверяющая система время "user" или время "real".

В случае, если система измеряет именно время "user" действительно становится непонятным, зачем убивать посторонние процессы, ведь время "user" от них не зависит.

В случае, если система измеряет время "real", становится понятным, зачем убивать посторонние процессы, но тогда можно быть уверенным в неправильности измерений, поскольку все посторонние процессы убить невозможно, однозадачного режима у Linux нет, и влияние всё равно будет заметно, особенно со здешними тайм-лимитами. И в этом случае непонятно, зачем использовать неточный способ измерения, создавать специальные условия, уменьшающими неточность, но не устраняющими её, когда есть способ измерения правильного времени, не зависящий от посторонних процессов.

maxtram
Вы не совсем правы. А именно, общепринятой практикой является вычисление времени работы решения как суммы ru_utime+ru_stime (время, которое затрачено приложением в userspace+в пространстве ядра). Причина: время выполнения в режиме ядра - время, которое система тратит на выполнение запросов (обращений к системным вызовам) участника. Поэтому исключать "sys" время из времени выполнения неправильно.

С Вашими доводами против замера астрономического времени я абсолютно согласен. Хотя должен заметить, что на загруженной системе (или, хуже того, на системе с плавающей нагрузкой) процессорное время выполнения (ru_utime, ru_stime) также нестабильно (если интересны причины такого поведения, то можем их обсудить в ПМ). Поэтому в зависимости от того, какие сервисы подняты на сервере онлайн-проверки, они вполне могут оказать влияние на замер времени.

PS Не смотря на мой статус на форуме, я не вхожу в жюри NetOI2011, и я не являюсь разработчиком тестирующей системы NetOI. Поэтому на вопросы устройства этой проверяющей системы я ответить не в состоянии.

Dim_ov написав:

Судячи з усього, заміряється, все-таки, астрономічний час - ось такий код вилітае з ТЛ-ми:

Код:

system("sleep 10");

Саме по собі це нічого не доводить -- "православний" ("правильний") ejudge теж, якщо не скаже на таке crash, то теж скаже ТЛ. Тільки не треба відповідати голослівно -- спочатку таки спробуйте в любому доступному з інтернету єджаджі.

Я не стверджую, ніби перевіряюча система НетОІ ідеальна -- я знаю, що це не так. Але:
1) вона виконує свої функції
2) вона вміє працювати як з он-лайном, так і з електронними листами
3) олімпіада не залежить від милості сторонніх розробників. Задумайтеся хоч на півсекунди, який колапс настав би майже скрізь, якби Чернов раптом оголосив, що з деякого моменту користуватися єджаджем заборонено

maxtram
Я вас просил ограничится на этом форуме вопросами по условиям задач или обсуждением их решений после окончания тура. Для разработчиков ( в том числе  и проверяющих систем) существуют специализированные форумы и рассылки. Тем более, не все так просто, как вы хотите видеть, и выводы ваши во многом ошибочны. Прошу не писать болше ТУТ на эту тему.