<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 6, 2020 at 6:12 AM Chris Johns <<a href="mailto:chrisj@rtems.org">chrisj@rtems.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
> On 6 May 2020, at 8:15 pm, Sebastian Huber <<a href="mailto:sebastian.huber@embedded-brains.de" target="_blank">sebastian.huber@embedded-brains.de</a>> wrote:<br>
> <br>
> On 06/05/2020 12:00, Chris Johns wrote:<br>
> <br>
>>> On 6/5/20 7:35 pm, Sebastian Huber wrote:<br>
>>>> On 06/05/2020 10:41, <a href="mailto:chrisj@rtems.org" target="_blank">chrisj@rtems.org</a> wrote:<br>
>>> <br>
>>>> From: Chris Johns<<a href="mailto:chrisj@rtems.org" target="_blank">chrisj@rtems.org</a>><br>
>>>> <br>
>>>> Updates #2962<br>
>>>> ---<br>
>>>>   bsps/powerpc/psim/config/psim-testsuite.tcfg | 22 ++++++++++++++++++++<br>
>>>>   1 file changed, 22 insertions(+)<br>
>>>>   create mode 100644 bsps/powerpc/psim/config/psim-testsuite.tcfg<br>
>>>> <br>
>>>> diff --git a/bsps/powerpc/psim/config/psim-testsuite.tcfg b/bsps/powerpc/psim/config/psim-testsuite.tcfg<br>
>>>> new file mode 100644<br>
>>>> index 0000000000..b0d2a05086<br>
>>>> --- /dev/null<br>
>>>> +++ b/bsps/powerpc/psim/config/psim-testsuite.tcfg<br>
>>>> @@ -0,0 +1,22 @@<br>
>>>> +#<br>
>>>> +# PSIM RTEMS Test Database.<br>
>>>> +#<br>
>>>> +# Format is one line per test that is_NOT_  built.<br>
>>>> +#<br>
>>>> +<br>
>>>> +expected-fail: fsimfsgeneric01<br>
>>>> +expected-fail: block11<br>
>>>> +expected-fail: rbheap01<br>
>>>> +expected-fail: termios01<br>
>>>> +expected-fail: ttest01<br>
>>>> +expected-fail: psx12<br>
>>>> +expected-fail: psxchroot01<br>
>>>> +expected-fail: psxfenv01<br>
>>>> +expected-fail: psximfs02<br>
>>>> +expected-fail: psxpipe01<br>
>>>> +expected-fail: spextensions01<br>
>>>> +expected-fail: spfatal31<br>
>>>> +expected-fail: spfifo02<br>
>>>> +expected-fail: spmountmgr01<br>
>>>> +expected-fail: spprivenv01<br>
>>>> +expected-fail: spstdthreads01<br>
>>> <br>
>>> I don't think these tests are expected to fail. If they fail, then there is a bug somewhere.<br>
>> <br>
>> Yes we hope no tests fail but they can and do. Excluding tests because they fail would be incorrect. In the 5.1 release these bugs are present so we expect, or maybe it should say, we know the test will fail. With this change any thing that appears in the failure column is "unexpected" and that means the user build of the release does not match the state we "expect" and it is worth investigation by the user.<br>
>> <br>
>> Without these tests being tagged this way the user would have no idea where the stand after a build and test run and that would mean we would have to make sure a release has no failures. I consider that as not practical or realistic. <br>
> Maybe we need another state, e.g. something-is-broken-please-fix-it.<br>
<br>
I do not think so, it is implicit in the failure or the test is broken. The only change is to add unexpected-pass, that will be on master after the 5 branch. <br></blockquote><div><br></div><div>This would be a good ticket to file as a "small tasks" one. Explain how to find all of the expected failures and investigate if one can be fixed or explained.</div><div><br></div><div>For example, fenv support is missing for many architectures so those could have a comment above them. But the jmr3904 has a different memory map from most BSPs and I know one of the fatal error tests has the simulator catch the invalid memory access before the RTEMS exception handler. That is really an expected fail but deserves (and has I think) a comment above it in the tcfg file.</div><div><br></div><div>--joel</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Chris<br>
<br>
Chris<br>
_______________________________________________<br>
devel mailing list<br>
<a href="mailto:devel@rtems.org" target="_blank">devel@rtems.org</a><br>
<a href="http://lists.rtems.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.rtems.org/mailman/listinfo/devel</a></blockquote></div></div>