====== ContiPerf ====== * [[http://databene.org/contiperf|ContiPerf 2]] 성능 테스트 * [[http://mvnrepository.com/artifact/org.databene/contiperf|ContiPerf Maven Repository]] * [[http://blog.javabenchmark.org/2013/03/continuous-performance-and-junit-with.html|Java Benchmark: Continuous Performance and JUnit with ContiPerf]] ===== Test Code ===== public class UserSerializerTest { @Rule public ContiPerfRule contiPerfRule = new ContiPerfRule(); @Test @PerfTest(invocations = 200, threads = 2) // 2개 쓰레드에서 200번(각 100번)호출 @Required(max = 1200, average = 250) // 테스트 통과조건 public void shouldSerializeRandomUser() throws JAXBException { // ... } } ===== 테스트 코드 작동구조 ===== > First the @Before method is called. Then the test method is invoked 1,000 times subsequently and finally the @After method(s). ContiPerf 2 supports this behaviour for all JUnit 4 versions since version 4.7. * ''@Before'' 테스트 메소드당 한 번만 호출 * ''@Test'' 지정된 횟수(''invocations'') 혹은 시간(''duration/rampup'')대로 호출 * ''@After'' 테스트 메소드당 한 번만 호출 예를들어 테스트 메소드가 ''test1()'', ''test2()'' 두 개이고, ''invocations=1000''이라면 다음과 같이 실행된다. constructor() before() test1() * 1000 회 수행 after() constructor() before() test2() * 1000 회 수행 after() ===== @PerfTest 옵션들 ===== * ''invocations'' : 테스트의 총 호출 횟수 * ''threads'' : 쓰레드 갯수 * ''rampup'' : 최초에는 1개 쓰레드로 시작해 rampup 시간(ms)가 지날 때 마다 쓰레드 한개씩 증가시켜 최종 ''threads''갯수까지 증가시킨다. * ''duration'' : 전체 쓰레드갯수가 꽉찬 상태로 테스트를 진행할 시간(ms). ''invocations''과 함께 안사용하는것이 맞을 듯. * ''warmup'' : 지정된 시간(ms)가 지난 후 부터 성능 측정을 하라는 의미. 보통은 ''rampup''시간이 다지나 쓰레드가 꽉차는 시간(''(rampup -1) * threads'')을 지정한다. 그러면 rampup 시간을 제외한 Full Thread로 작동한 시간에 대해서만 측정한다. * ''timer'' : 테스트 호출 사이사이마다 사용자 인터랙션 하듯이 잠시간의 중지시간 주기 timer = RandomTimer.class, timerParams = { 30, 80 } // ConstantTimer, RandomTimer, CumulatedTimer ===== @Required : 테스트 성공 조건 기술 ===== * ''@Required(throughput = 20)'' : Requires to have at least 20 test executions per second * ''@Required(average = 50)'' Requires an average execution time of not more than 50 milliseconds * ''@Required(median = 45)'' : Requires that 50% of all executions do not take longer than 45 milliseconds * ''@Required(max = 2000)'' : Requires that no invocation takes more than 2000 milliseconds (2 seconds) * ''@Required(totalTime = 5000)'' : Requires that the sum of all execution times is not more than 5000 milliseconds (5 seconds) * ''@Required(percentile90 = 3000)'' : Requires that 90% of all executions do not take longer than 3000 milliseconds * ''@Required(percentile95 = 5000)'' : Requires that 95% of all executions do not take longer than 5000 milliseconds * ''@Required(percentile99 = 10000)'' : Requires that 99% of all executions do not take longer than 10000 milliseconds * ''@Required(percentiles = "66:200,96:500")'' : Requires that 66% of all executions do not take longer than 200 milliseconds and 96% of all executions do not take longer than 500 milliseconds ===== 임시 작동 중단 ===== * 시스템 프라퍼티 ''contiperf.active=false''지정. * Maven mvn test -DargLine="-Dcontiperf.active=false" ===== Bug ===== java.lang.NoSuchFieldException: fNext JUnit 최신 버전과 안 맞아서 생기는 오류. JUnit 버전을 다운그레이드(4.11 이하) 할 것.