git.cworth.org Git - vogl/blob - src/voglcore/regex/regex2_man.txt

   1 REGEX(7)                                                              REGEX(7)
   2
   3
   4
   5 NAME
   6        regex - POSIX 1003.2 regular expressions
   7
   8 DESCRIPTION
   9        Regular  expressions (``RE''s), as defined in POSIX 1003.2, come in two
  10        forms:  modern  REs  (roughly  those  of  egrep;  1003.2  calls   these
  11        ``extended''  REs)  and  obsolete  REs  (roughly  those  of  ed; 1003.2
  12        ``basic'' REs).  Obsolete REs mostly exist for  backward  compatibility
  13        in some old programs; they will be discussed at the end.  1003.2 leaves
  14        some aspects of RE syntax and semantics open; `-'  marks  decisions  on
  15        these  aspects that may not be fully portable to other 1003.2 implemen-
  16        tations.
  17
  18        A (modern) RE is one- or more non-empty- branches,  separated  by  `|'.
  19        It matches anything that matches one of the branches.
  20
  21        A  branch is one- or more pieces, concatenated.  It matches a match for
  22        the first, followed by a match for the second, etc.
  23
  24        A piece is an atom possibly followed by a single-  `*',  `+',  `?',  or
  25        bound.  An atom followed by `*' matches a sequence of 0 or more matches
  26        of the atom.  An atom followed by `+' matches a sequence of 1  or  more
  27        matches  of  the atom.  An atom followed by `?' matches a sequence of 0
  28        or 1 matches of the atom.
  29
  30        A bound is `{' followed by an unsigned decimal integer,  possibly  fol-
  31        lowed  by  `,'  possibly  followed by another unsigned decimal integer,
  32        always followed by `}'.  The integers must lie between 0 and RE_DUP_MAX
  33        (255-)  inclusive,  and  if  there  are  two of them, the first may not
  34        exceed the second.  An atom followed by a bound containing one  integer
  35        i and no comma matches a sequence of exactly i matches of the atom.  An
  36        atom followed by a bound containing one integer i and a comma matches a
  37        sequence of i or more matches of the atom.  An atom followed by a bound
  38        containing two integers i and j matches  a  sequence  of  i  through  j
  39        (inclusive) matches of the atom.
  40
  41        An  atom is a regular expression enclosed in `()' (matching a match for
  42        the regular expression), an  empty  set  of  `()'  (matching  the  null
  43        string)-,  a  bracket expression (see below), `.'  (matching any single
  44        character), `^' (matching the null string at the beginning of a  line),
  45        `$'  (matching the null string at the end of a line), a `\' followed by
  46        one of the characters `^.[$()|*+?{\' (matching that character taken  as
  47        an  ordinary character), a `\' followed by any other character- (match-
  48        ing that character taken as an ordinary character, as if  the  `\'  had
  49        not  been  present-),  or a single character with no other significance
  50        (matching that character).  A `{' followed by a character other than  a
  51        digit  is  an ordinary character, not the beginning of a bound-.  It is
  52        illegal to end an RE with `\'.
  53
  54        A bracket expression is a list of characters enclosed in `[]'.  It nor-
  55        mally  matches  any single character from the list (but see below).  If
  56        the list begins with `^', it matches  any  single  character  (but  see
  57        below)  not  from  the rest of the list.  If two characters in the list
  58        are separated by `-', this is shorthand for the full range  of  charac-
  59        ters  between  those  two  (inclusive)  in the collating sequence, e.g.
  60        `[0-9]' in ASCII matches any decimal digit.  It  is  illegal-  for  two
  61        ranges  to share an endpoint, e.g. `a-c-e'.  Ranges are very collating-
  62        sequence-dependent, and portable programs should avoid relying on them.
  63
  64        To include a literal `]' in the list, make it the first character (fol-
  65        lowing a possible `^').  To include a literal `-', make it the first or
  66        last character, or the second endpoint of a range.  To  use  a  literal
  67        `-'  as  the  first endpoint of a range, enclose it in `[.' and `.]' to
  68        make it a collating element (see below).  With the exception  of  these
  69        and  some  combinations using `[' (see next paragraphs), all other spe-
  70        cial characters, including `\', lose their special significance  within
  71        a bracket expression.
  72
  73        Within a bracket expression, a collating element (a character, a multi-
  74        character sequence that collates as if it were a single character, or a
  75        collating-sequence  name  for  either) enclosed in `[.' and `.]' stands
  76        for the sequence of characters of that collating element.  The sequence
  77        is  a  single  element  of  the  bracket  expression's list.  A bracket
  78        expression containing a  multi-character  collating  element  can  thus
  79        match  more than one character, e.g. if the collating sequence includes
  80        a `ch' collating element, then the RE `[[.ch.]]*c'  matches  the  first
  81        five characters of `chchcc'.
  82
  83        Within  a  bracket expression, a collating element enclosed in `[=' and
  84        `=]' is an equivalence class, standing for the sequences of  characters
  85        of  all  collating  elements  equivalent to that one, including itself.
  86        (If there are no other equivalent collating elements, the treatment  is
  87        as  if the enclosing delimiters were `[.' and `.]'.)  For example, if o
  88        and ^  are  the  members  of  an  equivalence  class,  then  `[[=o=]]',
  89        `[[=^=]]',  and  `[o^]'  are  all synonymous.  An equivalence class may
  90        not- be an endpoint of a range.
  91
  92        Within a bracket expression, the name of a character class enclosed  in
  93        `[:'  and  `:]' stands for the list of all characters belonging to that
  94        class.  Standard character class names are:
  95
  96               alnum       digit       punct
  97               alpha       graph       space
  98               blank       lower       upper
  99               cntrl       print       xdigit
 100
 101        These stand for the character classes defined in  ctype(3).   A  locale
 102        may  provide  others.  A character class may not be used as an endpoint
 103        of a range.
 104
 105        There are two  special  cases-  of  bracket  expressions:  the  bracket
 106        expressions `[[:<:]]' and `[[:>:]]' match the null string at the begin-
 107        ning and end of a word respectively.  A word is defined as  a  sequence
 108        of word characters which is neither preceded nor followed by word char-
 109        acters.  A  word  character  is  an  alnum  character  (as  defined  by
 110        ctype(3))  or an underscore.  This is an extension, compatible with but
 111        not specified by POSIX 1003.2, and should be used with caution in soft-
 112        ware intended to be portable to other systems.
 113
 114        In  the event that an RE could match more than one substring of a given
 115        string, the RE matches the one starting earliest in the string.  If the
 116        RE  could  match  more  than  one  substring starting at that point, it
 117        matches the longest.  Subexpressions also match  the  longest  possible
 118        substrings,  subject  to the constraint that the whole match be as long
 119        as possible, with subexpressions starting earlier in the RE taking pri-
 120        ority  over ones starting later.  Note that higher-level subexpressions
 121        thus take priority over their lower-level component subexpressions.
 122
 123        Match lengths are measured in characters, not  collating  elements.   A
 124        null  string  is  considered longer than no match at all.  For example,
 125        `bb*'   matches   the   three    middle    characters    of    `abbbc',
 126        `(wee|week)(knights|nights)'  matches  all  ten  characters  of  `week-
 127        nights', when `(.*).*' is matched against `abc' the parenthesized  sub-
 128        expression  matches  all  three characters, and when `(a*)*' is matched
 129        against `bc' both the whole  RE  and  the  parenthesized  subexpression
 130        match the null string.
 131
 132        If case-independent matching is specified, the effect is much as if all
 133        case distinctions had vanished from the alphabet.  When  an  alphabetic
 134        that  exists in multiple cases appears as an ordinary character outside
 135        a bracket expression, it is  effectively  transformed  into  a  bracket
 136        expression  containing  both  cases,  e.g. `x' becomes `[xX]'.  When it
 137        appears inside a bracket expression, all case counterparts  of  it  are
 138        added  to  the  bracket expression, so that (e.g.) `[x]' becomes `[xX]'
 139        and `[^x]' becomes `[^xX]'.
 140
 141        No particular limit  is  imposed  on  the  length  of  REs-.   Programs
 142        intended to be portable should not employ REs longer than 256 bytes, as
 143        an implementation can refuse to accept such REs and  remain  POSIX-com-
 144        pliant.
 145
 146        Obsolete  (``basic'')  regular  expressions differ in several respects.
 147        `|', `+', and `?' are ordinary characters and there  is  no  equivalent
 148        for  their functionality.  The delimiters for bounds are `\{' and `\}',
 149        with `{' and `}' by themselves ordinary  characters.   The  parentheses
 150        for  nested subexpressions are `\(' and `\)', with `(' and `)' by them-
 151        selves ordinary characters.  `^' is an ordinary character except at the
 152        beginning of the RE or- the beginning of a parenthesized subexpression,
 153        `$' is an ordinary character except at the end of the RE or- the end of
 154        a  parenthesized  subexpression, and `*' is an ordinary character if it
 155        appears at the beginning of the RE or the beginning of a  parenthesized
 156        subexpression  (after  a  possible leading `^').  Finally, there is one
 157        new type of atom, a back reference: `\' followed by a non-zero  decimal
 158        digit  d  matches  the  same  sequence of characters matched by the dth
 159        parenthesized subexpression (numbering subexpressions by the  positions
 160        of   their   opening  parentheses,  left  to  right),  so  that  (e.g.)
 161        `\([bc]\)\1' matches `bb' or `cc' but not `bc'.
 162
 163 SEE ALSO
 164        regex(3)
 165
 166        POSIX 1003.2, section 2.8 (Regular Expression Notation).
 167
 168 HISTORY
 169        Written by Henry Spencer, based on the 1003.2 spec.
 170
 171 BUGS
 172        Having two kinds of REs is a botch.
 173
 174        The current 1003.2 spec says that `)' is an ordinary character  in  the
 175        absence  of  an  unmatched  `(';  this was an unintentional result of a
 176        wording error, and change is likely.  Avoid relying on it.
 177
 178        Back references are a dreadful botch, posing major problems  for  effi-
 179        cient  implementations.   They  are also somewhat vaguely defined (does
 180        `a\(\(b\)*\2\)*d' match `abbbd'?).  Avoid using them.
 181
 182        1003.2's specification of  case-independent  matching  is  vague.   The
 183        ``one  case  implies all cases'' definition given above is current con-
 184        sensus among implementors as to the right interpretation.
 185
 186        The syntax for word boundaries is incredibly ugly.
 187
 188
 189
 190                                   25 Oct 1995                         REGEX(7)