benchtests: Convert strncmp benchmark output to json
Make the output usable through the compare_strings.py script. * benchtests/bench-strncmp.c: Convert output to json.
This commit is contained in:
Siddhesh Poyarekar
parent
4e9066bc88
commit
ad4e816e06
|
|
@ -23,6 +23,7 @@
|
|||
# define TEST_NAME "strncmp"
|
||||
#endif /* !WIDE */
|
||||
#include "bench-string.h"
|
||||
#include "json-lib.h"
|
||||
|
||||
#ifdef WIDE
|
||||
# include <wchar.h>
|
||||
|
|
@ -111,8 +112,8 @@ IMPL (STRNCMP, 1)
|
|||
|
||||
|
||||
static void
|
||||
do_one_test (impl_t *impl, const CHAR *s1, const CHAR *s2, size_t n,
|
||||
int exp_result)
|
||||
do_one_test (json_ctx_t *json_ctx, impl_t *impl, const CHAR *s1, const CHAR
|
||||
*s2, size_t n, int exp_result)
|
||||
{
|
||||
size_t i, iters = INNER_LOOP_ITERS;
|
||||
timing_t start, stop, cur;
|
||||
|
|
@ -126,12 +127,12 @@ do_one_test (impl_t *impl, const CHAR *s1, const CHAR *s2, size_t n,
|
|||
|
||||
TIMING_DIFF (cur, start, stop);
|
||||
|
||||
TIMING_PRINT_MEAN ((double) cur, (double) iters);
|
||||
json_element_double (json_ctx, (double) cur / (double) iters);
|
||||
}
|
||||
|
||||
static void
|
||||
do_test_limit (size_t align1, size_t align2, size_t len, size_t n, int max_char,
|
||||
int exp_result)
|
||||
do_test_limit (json_ctx_t *json_ctx, size_t align1, size_t align2, size_t len,
|
||||
size_t n, int max_char, int exp_result)
|
||||
{
|
||||
size_t i, align_n;
|
||||
CHAR *s1, *s2;
|
||||
|
|
@ -140,12 +141,18 @@ do_test_limit (size_t align1, size_t align2, size_t len, size_t n, int max_char,
|
|||
{
|
||||
s1 = (CHAR *) (buf1 + page_size);
|
||||
s2 = (CHAR *) (buf2 + page_size);
|
||||
printf ("Length %4zd/%4zd:", len, n);
|
||||
json_element_object_begin (json_ctx);
|
||||
json_attr_uint (json_ctx, "strlen", (double) len);
|
||||
json_attr_uint (json_ctx, "len", (double) n);
|
||||
json_attr_uint (json_ctx, "align1", (double) 0);
|
||||
json_attr_uint (json_ctx, "align2", (double) 0);
|
||||
json_array_begin (json_ctx, "timings");
|
||||
|
||||
FOR_EACH_IMPL (impl, 0)
|
||||
do_one_test (impl, s1, s2, n, 0);
|
||||
do_one_test (json_ctx, impl, s1, s2, n, 0);
|
||||
|
||||
putchar ('\n');
|
||||
json_array_end (json_ctx);
|
||||
json_element_object_end (json_ctx);
|
||||
|
||||
return;
|
||||
}
|
||||
|
|
@ -176,17 +183,23 @@ do_test_limit (size_t align1, size_t align2, size_t len, size_t n, int max_char,
|
|||
s1[len] = 64;
|
||||
}
|
||||
|
||||
printf ("Length %4zd/%4zd, alignment %2zd/%2zd:", len, n, align1, align2);
|
||||
json_element_object_begin (json_ctx);
|
||||
json_attr_uint (json_ctx, "strlen", (double) len);
|
||||
json_attr_uint (json_ctx, "len", (double) n);
|
||||
json_attr_uint (json_ctx, "align1", (double) align1);
|
||||
json_attr_uint (json_ctx, "align2", (double) align2);
|
||||
json_array_begin (json_ctx, "timings");
|
||||
|
||||
FOR_EACH_IMPL (impl, 0)
|
||||
do_one_test (impl, s1, s2, n, exp_result);
|
||||
do_one_test (json_ctx, impl, s1, s2, n, exp_result);
|
||||
|
||||
putchar ('\n');
|
||||
json_array_end (json_ctx);
|
||||
json_element_object_end (json_ctx);
|
||||
}
|
||||
|
||||
static void
|
||||
do_test (size_t align1, size_t align2, size_t len, size_t n, int max_char,
|
||||
int exp_result)
|
||||
do_test (json_ctx_t *json_ctx, size_t align1, size_t align2, size_t len, size_t
|
||||
n, int max_char, int exp_result)
|
||||
{
|
||||
size_t i;
|
||||
CHAR *s1, *s2;
|
||||
|
|
@ -219,80 +232,103 @@ do_test (size_t align1, size_t align2, size_t len, size_t n, int max_char,
|
|||
if (len >= n)
|
||||
s2[n - 1] -= exp_result;
|
||||
|
||||
printf ("Length %4zd/%4zd, alignment %2zd/%2zd:", len, n, align1, align2);
|
||||
json_element_object_begin (json_ctx);
|
||||
json_attr_uint (json_ctx, "strlen", (double) len);
|
||||
json_attr_uint (json_ctx, "len", (double) n);
|
||||
json_attr_uint (json_ctx, "align1", (double) align1);
|
||||
json_attr_uint (json_ctx, "align2", (double) align2);
|
||||
json_array_begin (json_ctx, "timings");
|
||||
|
||||
FOR_EACH_IMPL (impl, 0)
|
||||
do_one_test (impl, s1, s2, n, exp_result);
|
||||
do_one_test (json_ctx, impl, s1, s2, n, exp_result);
|
||||
|
||||
putchar ('\n');
|
||||
json_array_end (json_ctx);
|
||||
json_element_object_end (json_ctx);
|
||||
}
|
||||
|
||||
int
|
||||
test_main (void)
|
||||
{
|
||||
json_ctx_t json_ctx;
|
||||
size_t i;
|
||||
|
||||
test_init ();
|
||||
|
||||
printf ("%23s", "");
|
||||
json_init (&json_ctx, 0, stdout);
|
||||
|
||||
json_document_begin (&json_ctx);
|
||||
json_attr_string (&json_ctx, "timing_type", TIMING_TYPE);
|
||||
|
||||
json_attr_object_begin (&json_ctx, "functions");
|
||||
json_attr_object_begin (&json_ctx, TEST_NAME);
|
||||
json_attr_string (&json_ctx, "bench-variant", "default");
|
||||
|
||||
json_array_begin (&json_ctx, "ifuncs");
|
||||
FOR_EACH_IMPL (impl, 0)
|
||||
printf ("\t%s", impl->name);
|
||||
putchar ('\n');
|
||||
json_element_string (&json_ctx, impl->name);
|
||||
json_array_end (&json_ctx);
|
||||
|
||||
json_array_begin (&json_ctx, "results");
|
||||
|
||||
for (i =0; i < 16; ++i)
|
||||
{
|
||||
do_test (0, 0, 8, i, 127, 0);
|
||||
do_test (0, 0, 8, i, 127, -1);
|
||||
do_test (0, 0, 8, i, 127, 1);
|
||||
do_test (i, i, 8, i, 127, 0);
|
||||
do_test (i, i, 8, i, 127, 1);
|
||||
do_test (i, i, 8, i, 127, -1);
|
||||
do_test (i, 2 * i, 8, i, 127, 0);
|
||||
do_test (2 * i, i, 8, i, 127, 1);
|
||||
do_test (i, 3 * i, 8, i, 127, -1);
|
||||
do_test (0, 0, 8, i, 255, 0);
|
||||
do_test (0, 0, 8, i, 255, -1);
|
||||
do_test (0, 0, 8, i, 255, 1);
|
||||
do_test (i, i, 8, i, 255, 0);
|
||||
do_test (i, i, 8, i, 255, 1);
|
||||
do_test (i, i, 8, i, 255, -1);
|
||||
do_test (i, 2 * i, 8, i, 255, 0);
|
||||
do_test (2 * i, i, 8, i, 255, 1);
|
||||
do_test (i, 3 * i, 8, i, 255, -1);
|
||||
do_test (&json_ctx, 0, 0, 8, i, 127, 0);
|
||||
do_test (&json_ctx, 0, 0, 8, i, 127, -1);
|
||||
do_test (&json_ctx, 0, 0, 8, i, 127, 1);
|
||||
do_test (&json_ctx, i, i, 8, i, 127, 0);
|
||||
do_test (&json_ctx, i, i, 8, i, 127, 1);
|
||||
do_test (&json_ctx, i, i, 8, i, 127, -1);
|
||||
do_test (&json_ctx, i, 2 * i, 8, i, 127, 0);
|
||||
do_test (&json_ctx, 2 * i, i, 8, i, 127, 1);
|
||||
do_test (&json_ctx, i, 3 * i, 8, i, 127, -1);
|
||||
do_test (&json_ctx, 0, 0, 8, i, 255, 0);
|
||||
do_test (&json_ctx, 0, 0, 8, i, 255, -1);
|
||||
do_test (&json_ctx, 0, 0, 8, i, 255, 1);
|
||||
do_test (&json_ctx, i, i, 8, i, 255, 0);
|
||||
do_test (&json_ctx, i, i, 8, i, 255, 1);
|
||||
do_test (&json_ctx, i, i, 8, i, 255, -1);
|
||||
do_test (&json_ctx, i, 2 * i, 8, i, 255, 0);
|
||||
do_test (&json_ctx, 2 * i, i, 8, i, 255, 1);
|
||||
do_test (&json_ctx, i, 3 * i, 8, i, 255, -1);
|
||||
}
|
||||
|
||||
for (i = 1; i < 8; ++i)
|
||||
{
|
||||
do_test (0, 0, 8 << i, 16 << i, 127, 0);
|
||||
do_test (0, 0, 8 << i, 16 << i, 127, 1);
|
||||
do_test (0, 0, 8 << i, 16 << i, 127, -1);
|
||||
do_test (0, 0, 8 << i, 16 << i, 255, 0);
|
||||
do_test (0, 0, 8 << i, 16 << i, 255, 1);
|
||||
do_test (0, 0, 8 << i, 16 << i, 255, -1);
|
||||
do_test (8 - i, 2 * i, 8 << i, 16 << i, 127, 0);
|
||||
do_test (8 - i, 2 * i, 8 << i, 16 << i, 127, 1);
|
||||
do_test (2 * i, i, 8 << i, 16 << i, 255, 0);
|
||||
do_test (2 * i, i, 8 << i, 16 << i, 255, 1);
|
||||
do_test (&json_ctx, 0, 0, 8 << i, 16 << i, 127, 0);
|
||||
do_test (&json_ctx, 0, 0, 8 << i, 16 << i, 127, 1);
|
||||
do_test (&json_ctx, 0, 0, 8 << i, 16 << i, 127, -1);
|
||||
do_test (&json_ctx, 0, 0, 8 << i, 16 << i, 255, 0);
|
||||
do_test (&json_ctx, 0, 0, 8 << i, 16 << i, 255, 1);
|
||||
do_test (&json_ctx, 0, 0, 8 << i, 16 << i, 255, -1);
|
||||
do_test (&json_ctx, 8 - i, 2 * i, 8 << i, 16 << i, 127, 0);
|
||||
do_test (&json_ctx, 8 - i, 2 * i, 8 << i, 16 << i, 127, 1);
|
||||
do_test (&json_ctx, 2 * i, i, 8 << i, 16 << i, 255, 0);
|
||||
do_test (&json_ctx, 2 * i, i, 8 << i, 16 << i, 255, 1);
|
||||
}
|
||||
|
||||
do_test_limit (0, 0, 0, 0, 127, 0);
|
||||
do_test_limit (4, 0, 21, 20, 127, 0);
|
||||
do_test_limit (0, 4, 21, 20, 127, 0);
|
||||
do_test_limit (8, 0, 25, 24, 127, 0);
|
||||
do_test_limit (0, 8, 25, 24, 127, 0);
|
||||
do_test_limit (&json_ctx, 0, 0, 0, 0, 127, 0);
|
||||
do_test_limit (&json_ctx, 4, 0, 21, 20, 127, 0);
|
||||
do_test_limit (&json_ctx, 0, 4, 21, 20, 127, 0);
|
||||
do_test_limit (&json_ctx, 8, 0, 25, 24, 127, 0);
|
||||
do_test_limit (&json_ctx, 0, 8, 25, 24, 127, 0);
|
||||
|
||||
for (i = 0; i < 8; ++i)
|
||||
{
|
||||
do_test_limit (0, 0, 17 - i, 16 - i, 127, 0);
|
||||
do_test_limit (0, 0, 17 - i, 16 - i, 255, 0);
|
||||
do_test_limit (0, 0, 15 - i, 16 - i, 127, 0);
|
||||
do_test_limit (0, 0, 15 - i, 16 - i, 127, 1);
|
||||
do_test_limit (0, 0, 15 - i, 16 - i, 127, -1);
|
||||
do_test_limit (0, 0, 15 - i, 16 - i, 255, 0);
|
||||
do_test_limit (0, 0, 15 - i, 16 - i, 255, 1);
|
||||
do_test_limit (0, 0, 15 - i, 16 - i, 255, -1);
|
||||
do_test_limit (&json_ctx, 0, 0, 17 - i, 16 - i, 127, 0);
|
||||
do_test_limit (&json_ctx, 0, 0, 17 - i, 16 - i, 255, 0);
|
||||
do_test_limit (&json_ctx, 0, 0, 15 - i, 16 - i, 127, 0);
|
||||
do_test_limit (&json_ctx, 0, 0, 15 - i, 16 - i, 127, 1);
|
||||
do_test_limit (&json_ctx, 0, 0, 15 - i, 16 - i, 127, -1);
|
||||
do_test_limit (&json_ctx, 0, 0, 15 - i, 16 - i, 255, 0);
|
||||
do_test_limit (&json_ctx, 0, 0, 15 - i, 16 - i, 255, 1);
|
||||
do_test_limit (&json_ctx, 0, 0, 15 - i, 16 - i, 255, -1);
|
||||
}
|
||||
|
||||
json_array_end (&json_ctx);
|
||||
json_attr_object_end (&json_ctx);
|
||||
json_attr_object_end (&json_ctx);
|
||||
json_document_end (&json_ctx);
|
||||
|
||||
return ret;
|
||||
}
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue