<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 1, 2021 at 3:50 PM Chris Johns <<a href="mailto:chrisj@rtems.org">chrisj@rtems.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 2/2/21 3:42 am, Joel Sherrill wrote:<br>
> Hi<br>
> <br>
> On the aarch64 qemu testing, we are seeing some tests which seem to pass most of<br>
> the time but fail intermittently. It appears to be based somewhat on host load<br>
> but there may be other factors. <br>
> <br>
> There does not appear to be a good test results state for these. Marking them<br>
> expected pass or fail means they will get flagged incorrectly sometimes.<br>
<br>
We have the test state 'indeterminate' ...<br>
<br>
<a href="https://docs.rtems.org/branches/master/user/testing/tests.html#expected-test-states" rel="noreferrer" target="_blank">https://docs.rtems.org/branches/master/user/testing/tests.html#expected-test-states</a><br>
<br>
It is for this type of test result.<br>
<br>
> I don't see not running them as a good option. Beyond adding a new state to<br>
> reflect this oddity, any suggestions?<br>
<br>
I prefer we used the already defined and documented state.</blockquote><div><br></div><div>+1 </div><div><br></div><div>Kinsey had already marked them as indeterminate and the guys were in the </div><div>process of documenting why. I interpreted the question of what to do more </div><div>broadly than it needed to be but the discussion was good.</div><div><br></div><div>--joel </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Chris<br>
</blockquote></div></div>