B::Hooks::OP::Check::Install::Files is not indexed
[p5sagit/Devel-Declare.git] / Declare.xs
index 17a0cd3..9b84045 100644 (file)
@@ -1,42 +1,61 @@
-#define PERL_CORE
-#define PERL_NO_GET_CONTEXT
+#define PERL_NO_GET_CONTEXT 1
 #include "EXTERN.h"
 #include "perl.h"
 #include "XSUB.h"
+#include "hook_op_check.h"
 #undef printf
 #include "stolen_chunk_of_toke.c"
 #include <stdio.h>
 #include <string.h>
 
+#define PERL_VERSION_DECIMAL(r,v,s) (r*1000000 + v*1000 + s)
+#define PERL_DECIMAL_VERSION \
+  PERL_VERSION_DECIMAL(PERL_REVISION,PERL_VERSION,PERL_SUBVERSION)
+#define PERL_VERSION_GE(r,v,s) \
+  (PERL_DECIMAL_VERSION >= PERL_VERSION_DECIMAL(r,v,s))
+
 #ifndef Newx
 # define Newx(v,n,t) New(0,v,n,t)
 #endif /* !Newx */
 
-#if 1
-#define DD_HAS_TRAITS
-#endif
+#define DD_DEBUGf_UPDATED_LINESTR 1
+#define DD_DEBUGf_TRACE 2
 
-#if 0
-#define DD_DEBUG
-#endif
+#define DD_DEBUG_UPDATED_LINESTR (dd_debug & DD_DEBUGf_UPDATED_LINESTR)
+#define DD_DEBUG_TRACE (dd_debug & DD_DEBUGf_TRACE)
+static int dd_debug = 0;
 
-#define DD_HANDLE_NAME 1
-#define DD_HANDLE_PROTO 2
-#define DD_HANDLE_PACKAGE 8
+#define DD_CONST_VIA_RV2CV PERL_VERSION_GE(5,11,2)
 
-#ifdef DD_DEBUG
-#define DD_DEBUG_S printf("Buffer: %s\n", s);
-#else
-#define DD_DEBUG_S
-#endif
+#define DD_GROW_VIA_BLOCKHOOK PERL_VERSION_GE(5,13,3)
 
 #define LEX_NORMAL    10
 #define LEX_INTERPNORMAL   9
 
+/* please try not to have a line longer than this :) */
+
+#define DD_PREFERRED_LINESTR_SIZE 16384
+
 /* flag to trigger removal of temporary declaree sub */
 
 static int in_declare = 0;
 
+/* in 5.10, PL_parser will be NULL if we aren't parsing, and PL_lex_stuff
+   is a lookup into it - so if anything else we can use to tell, so we
+   need to be a bit more careful if PL_parser exists */
+
+#define DD_AM_LEXING_CHECK (PL_lex_state == LEX_NORMAL || PL_lex_state == LEX_INTERPNORMAL)
+
+#if defined(PL_parser) || defined(PERL_5_9_PLUS)
+#define DD_HAVE_PARSER PL_parser
+#define DD_HAVE_LEX_STUFF (PL_parser && PL_lex_stuff)
+#define DD_AM_LEXING (PL_parser && DD_AM_LEXING_CHECK)
+#else
+#define DD_HAVE_PARSER 1
+#define DD_HAVE_LEX_STUFF PL_lex_stuff
+#define DD_AM_LEXING DD_AM_LEXING_CHECK
+#endif
+
 /* thing that decides whether we're dealing with a declarator */
 
 int dd_is_declarator(pTHX_ char* name) {
@@ -45,6 +64,7 @@ int dd_is_declarator(pTHX_ char* name) {
   HV* is_declarator_pack_hash;
   SV** is_declarator_flag_ref;
   int dd_flags;
+  char* curstash_name;
 
   is_declarator = get_hv("Devel::Declare::declarators", FALSE);
 
@@ -53,8 +73,12 @@ int dd_is_declarator(pTHX_ char* name) {
 
   /* $declarators{$current_package_name} */
 
-  is_declarator_pack_ref = hv_fetch(is_declarator, HvNAME(PL_curstash),
-                             strlen(HvNAME(PL_curstash)), FALSE);
+  curstash_name = HvNAME(PL_curstash);
+  if (!curstash_name)
+    return -1;
+
+  is_declarator_pack_ref = hv_fetch(is_declarator, curstash_name,
+                             strlen(curstash_name), FALSE);
 
   if (!is_declarator_pack_ref || !SvROK(*is_declarator_pack_ref))
     return -1; /* not a hashref */
@@ -71,7 +95,7 @@ int dd_is_declarator(pTHX_ char* name) {
   /* requires SvIOK as well as TRUE since flags not being an int is useless */
 
   if (!is_declarator_flag_ref
-        || !SvIOK(*is_declarator_flag_ref) 
+        || !SvIOK(*is_declarator_flag_ref)
         || !SvTRUE(*is_declarator_flag_ref))
     return -1;
 
@@ -82,10 +106,10 @@ int dd_is_declarator(pTHX_ char* name) {
 
 /* callback thingy */
 
-void dd_linestr_callback (pTHX_ char* type, char* name, char* s) {
+void dd_linestr_callback (pTHX_ char* type, char* name) {
 
   char* linestr = SvPVX(PL_linestr);
-  int offset = s - linestr;
+  int offset = PL_bufptr - linestr;
 
   dSP;
 
@@ -105,37 +129,65 @@ void dd_linestr_callback (pTHX_ char* type, char* name, char* s) {
 }
 
 char* dd_get_linestr(pTHX) {
+  if (!DD_HAVE_PARSER) {
+    return NULL;
+  }
   return SvPVX(PL_linestr);
 }
 
 void dd_set_linestr(pTHX_ char* new_value) {
-  int new_len = strlen(new_value);
-  char* old_linestr = SvPVX(PL_linestr);
+  unsigned int new_len = strlen(new_value);
 
-  SvGROW(PL_linestr, strlen(new_value));
+  if (SvLEN(PL_linestr) < new_len) {
+    croak("PL_linestr not long enough, was Devel::Declare loaded soon enough in %s",
+      CopFILE(&PL_compiling)
+    );
+  }
 
-  if (SvPVX(PL_linestr) != old_linestr)
-    Perl_croak(aTHX_ "forced to realloc PL_linestr for line %s, bailing out before we crash harder", SvPVX(PL_linestr));
 
   memcpy(SvPVX(PL_linestr), new_value, new_len+1);
 
   SvCUR_set(PL_linestr, new_len);
 
   PL_bufend = SvPVX(PL_linestr) + new_len;
+
+  if ( DD_DEBUG_UPDATED_LINESTR && PERLDB_LINE && PL_curstash != PL_debstash) {
+    /* Cribbed from toke.c */
+    AV *fileav = CopFILEAV(&PL_compiling);
+    if (fileav) {
+      SV * const sv = NEWSV(85,0);
+
+      sv_upgrade(sv, SVt_PVMG);
+      sv_setpvn(sv,PL_bufptr,PL_bufend-PL_bufptr);
+      (void)SvIOK_on(sv);
+      SvIV_set(sv, 0);
+      av_store(fileav,(I32)CopLINE(&PL_compiling),sv);
+    }
+  }
 }
 
 char* dd_get_lex_stuff(pTHX) {
-  return SvPVX(PL_lex_stuff);
+  return (DD_HAVE_LEX_STUFF ? SvPVX(PL_lex_stuff) : "");
 }
 
-char* dd_clear_lex_stuff(pTHX) {
-  PL_lex_stuff = Nullsv;
+void dd_clear_lex_stuff(pTHX) {
+  if (DD_HAVE_PARSER)
+    PL_lex_stuff = (SV*)NULL;
 }
 
 char* dd_get_curstash_name(pTHX) {
   return HvNAME(PL_curstash);
 }
 
+int dd_get_linestr_offset(pTHX) {
+  char* linestr;
+  if (!DD_HAVE_PARSER) {
+    return -1;
+  }
+  linestr = SvPVX(PL_linestr);
+  return PL_bufptr - linestr;
+}
+
 char* dd_move_past_token (pTHX_ char* s) {
 
   /*
@@ -164,56 +216,101 @@ int dd_toke_scan_word(pTHX_ int offset, int handle_package) {
   return s - base_s;
 }
 
+int dd_toke_scan_ident(pTHX_ int offset) {
+    char tmpbuf[sizeof PL_tokenbuf];
+    char* base_s = SvPVX(PL_linestr) + offset;
+    char* s = scan_ident(base_s, PL_bufend, tmpbuf, sizeof tmpbuf, 0);
+    return s - base_s;
+}
+
 int dd_toke_scan_str(pTHX_ int offset) {
+  char* old_pvx = SvPVX(PL_linestr);
+  SV* line_copy = sv_2mortal(newSVsv(PL_linestr));
   char* base_s = SvPVX(PL_linestr) + offset;
   char* s = scan_str(base_s, FALSE, FALSE);
+  if(SvPVX(PL_linestr) != old_pvx)
+    croak("PL_linestr reallocated during scan_str, "
+      "Devel::Declare can't continue");
+  if (!s)
+    return 0;
+  if (s <= base_s || memcmp(SvPVX(line_copy), SvPVX(PL_linestr), offset)) {
+    s += SvCUR(line_copy);
+    sv_catsv(line_copy, PL_linestr);
+    dd_set_linestr(aTHX_ SvPV_nolen(line_copy));
+  }
   return s - base_s;
 }
 
 int dd_toke_skipspace(pTHX_ int offset) {
+  char* old_pvx = SvPVX(PL_linestr);
   char* base_s = SvPVX(PL_linestr) + offset;
-  char* s = skipspace(base_s);
+  char* s = skipspace_force(base_s);
+  if(SvPVX(PL_linestr) != old_pvx)
+    croak("PL_linestr reallocated during skipspace, "
+      "Devel::Declare can't continue");
   return s - base_s;
 }
 
-/* replacement PL_check rv2cv entry */
-
-STATIC OP *(*dd_old_ck_rv2cv)(pTHX_ OP *op);
-
-STATIC OP *dd_ck_rv2cv(pTHX_ OP *o) {
-  OP* kid;
-  char* s;
-  char* save_s;
-  char tmpbuf[sizeof PL_tokenbuf];
-  char found_name[sizeof PL_tokenbuf];
-  char* found_proto = NULL, *found_traits = NULL;
-  STRLEN len = 0;
-  int dd_flags;
-  char* cb_args[6];
-  dSP; /* define stack pointer for later call stuff */
-  char* retstr;
-  STRLEN n_a; /* for POPpx */
-
-  o = dd_old_ck_rv2cv(aTHX_ o); /* let the original do its job */
+static void call_done_declare(pTHX) {
+  dSP;
 
-  if (in_declare) {
-    cb_args[0] = NULL;
-#ifdef DD_DEBUG
+  if (DD_DEBUG_TRACE) {
     printf("Deconstructing declare\n");
     printf("PL_bufptr: %s\n", PL_bufptr);
-    printf("bufend at: %i\n", PL_bufend - PL_bufptr);
+    printf("bufend at: %i\n", (int)(PL_bufend - PL_bufptr));
     printf("linestr: %s\n", SvPVX(PL_linestr));
-    printf("linestr len: %i\n", PL_bufend - SvPVX(PL_linestr));
-#endif
-    call_argv("Devel::Declare::done_declare", G_VOID|G_DISCARD, cb_args);
-    in_declare--;
-#ifdef DD_DEBUG
+    printf("linestr len: %i\n", (int)(PL_bufend - SvPVX(PL_linestr)));
+  }
+
+  ENTER;
+  SAVETMPS;
+
+  PUSHMARK(SP);
+
+  call_pv("Devel::Declare::done_declare", G_VOID|G_DISCARD);
+
+  FREETMPS;
+  LEAVE;
+
+  if (DD_DEBUG_TRACE) {
     printf("PL_bufptr: %s\n", PL_bufptr);
-    printf("bufend at: %i\n", PL_bufend - PL_bufptr);
+    printf("bufend at: %i\n", (int)(PL_bufend - PL_bufptr));
     printf("linestr: %s\n", SvPVX(PL_linestr));
-    printf("linestr len: %i\n", PL_bufend - SvPVX(PL_linestr));
-    printf("actual len: %i\n", strlen(PL_bufptr));
+    printf("linestr len: %i\n", (int)(PL_bufend - SvPVX(PL_linestr)));
+    printf("actual len: %i\n", (int)strlen(PL_bufptr));
+  }
+}
+
+static int dd_handle_const(pTHX_ char *name);
+
+#ifdef CV_NAME_NOTQUAL /* 5.21.5 */
+# define Gv_or_CvNAME(g) (isGV(g) \
+               ? GvNAME(g) \
+               : SvPV_nolen(cv_name((CV *)SvRV(g), NULL, CV_NAME_NOTQUAL)))
+#elif defined(CvNAMED) /* 5.21.4 */
+# define Gv_or_CvNAME(g) (isGV(g) \
+                            ? GvNAME(g) \
+                            : CvNAMED(SvRV(g)) \
+                                ? HEK_KEY(CvNAME_HEK((CV *)SvRV(g))) \
+                                : GvNAME(CvGV(SvRV(g))))
+#else
+# define Gv_or_CvNAME(g) GvNAME(g)
 #endif
+
+/* replacement PL_check rv2cv entry */
+
+STATIC OP *dd_ck_rv2cv(pTHX_ OP *o, void *user_data) {
+  OP* kid;
+  int dd_flags;
+  char *gvname;
+
+  PERL_UNUSED_VAR(user_data);
+
+  if (!DD_AM_LEXING)
+    return o; /* not lexing? */
+
+  if (in_declare) {
+    call_done_declare(aTHX);
     return o;
   }
 
@@ -222,49 +319,76 @@ STATIC OP *dd_ck_rv2cv(pTHX_ OP *o) {
   if (kid->op_type != OP_GV) /* not a GV so ignore */
     return o;
 
-  if (PL_lex_state != LEX_NORMAL && PL_lex_state != LEX_INTERPNORMAL)
-    return o; /* not lexing? */
+  if (!isGV(kGVOP_gv)
+   && (!SvROK(kGVOP_gv) || SvTYPE(SvRV(kGVOP_gv)) != SVt_PVCV))
+    return o;
 
-  /* I was doing this, but the CONST wrap can't so it didn't gain anything
-  stash = GvSTASH(kGVOP_gv); */
+  gvname = Gv_or_CvNAME(kGVOP_gv);
 
-#ifdef DD_DEBUG
-  printf("Checking GV %s -> %s\n", HvNAME(GvSTASH(kGVOP_gv)), GvNAME(kGVOP_gv));
-#endif
+  if (DD_DEBUG_TRACE) {
+    printf("Checking GV %s -> %s\n", HvNAME(GvSTASH(kGVOP_gv)), gvname);
+  }
 
-  dd_flags = dd_is_declarator(aTHX_ GvNAME(kGVOP_gv));
+  dd_flags = dd_is_declarator(aTHX_ gvname);
 
   if (dd_flags == -1)
     return o;
 
-#ifdef DD_DEBUG
-  printf("dd_flags are: %i\n", dd_flags);
-#endif
+  if (DD_DEBUG_TRACE) {
+    printf("dd_flags are: %i\n", dd_flags);
+    printf("PL_tokenbuf: %s\n", PL_tokenbuf);
+  }
 
-  s = PL_bufptr; /* copy the current buffer pointer */
+#if DD_CONST_VIA_RV2CV
+  if (PL_expect != XOPERATOR) {
+    if (!dd_handle_const(aTHX_ Gv_or_CvNAME(kGVOP_gv)))
+      return o;
+    CopLINE(PL_curcop) = PL_copline;
+    /* The parser behaviour that we're simulating depends on what comes
+       after the declarator. */
+    if (*skipspace(PL_bufptr + strlen(gvname)) != '(') {
+      if (in_declare) {
+        call_done_declare(aTHX);
+      } else {
+        dd_linestr_callback(aTHX_ "rv2cv", gvname);
+      }
+    }
+    return o;
+  }
+#endif /* DD_CONST_VIA_RV2CV */
 
-  DD_DEBUG_S
+  dd_linestr_callback(aTHX_ "rv2cv", gvname);
 
-#ifdef DD_DEBUG
-  printf("PL_tokenbuf: %s\n", PL_tokenbuf);
-#endif
+  return o;
+}
 
-  dd_linestr_callback(aTHX_ "rv2cv", GvNAME(kGVOP_gv), s);
+#if DD_GROW_VIA_BLOCKHOOK
 
-  return o;
+static void dd_block_start(pTHX_ int full)
+{
+  PERL_UNUSED_VAR(full);
+  if (SvLEN(PL_linestr) < DD_PREFERRED_LINESTR_SIZE)
+    (void) lex_grow_linestr(DD_PREFERRED_LINESTR_SIZE);
 }
 
-STATIC OP *(*dd_old_ck_entereval)(pTHX_ OP *op);
+#else /* !DD_GROW_VIA_BLOCKHOOK */
 
 OP* dd_pp_entereval(pTHX) {
   dSP;
-  dPOPss;
   STRLEN len;
   const char* s;
-  if (SvPOK(sv)) {
-#ifdef DD_DEBUG
-    printf("mangling eval sv\n");
+  SV *sv;
+#ifdef PERL_5_9_PLUS
+  SV *saved_hh = NULL;
+  if (PL_op->op_private & OPpEVAL_HAS_HH) {
+    saved_hh = POPs;
+  }
 #endif
+  sv = POPs;
+  if (SvPOK(sv)) {
+    if (DD_DEBUG_TRACE) {
+      printf("mangling eval sv\n");
+    }
     if (SvREADONLY(sv))
       sv = sv_2mortal(newSVsv(sv));
     s = SvPVX(sv);
@@ -274,35 +398,115 @@ OP* dd_pp_entereval(pTHX) {
         sv = sv_2mortal(newSVsv(sv));
       sv_catpvn(sv, "\n;", 2);
     }
-    SvGROW(sv, 8192);
+    SvGROW(sv, DD_PREFERRED_LINESTR_SIZE);
   }
   PUSHs(sv);
+#ifdef PERL_5_9_PLUS
+  if (PL_op->op_private & OPpEVAL_HAS_HH) {
+    PUSHs(saved_hh);
+  }
+#endif
   return PL_ppaddr[OP_ENTEREVAL](aTHX);
 }
 
-STATIC OP *dd_ck_entereval(pTHX_ OP *o) {
-  o = dd_old_ck_entereval(aTHX_ o); /* let the original do its job */
+STATIC OP *dd_ck_entereval(pTHX_ OP *o, void *user_data) {
+  PERL_UNUSED_VAR(user_data);
+
   if (o->op_ppaddr == PL_ppaddr[OP_ENTEREVAL])
     o->op_ppaddr = dd_pp_entereval;
   return o;
 }
 
+#endif /* !DD_GROW_VIA_BLOCKHOOK */
+
 static I32 dd_filter_realloc(pTHX_ int idx, SV *sv, int maxlen)
 {
+  SV *filter_datasv;
   const I32 count = FILTER_READ(idx+1, sv, maxlen);
-  SvGROW(sv, 8192); /* please try not to have a line longer than this :) */
-  /* filter_del(dd_filter_realloc); */
+  SvGROW(sv, DD_PREFERRED_LINESTR_SIZE);
+  /* Filters can only be deleted in the correct order (reverse of the
+     order in which they were added).  Insisting on deleting the filter
+     here would break if another filter were added after ours and is
+     still around.  Not deleting the filter at all would break if another
+     filter were added earlier and attempts to delete itself later.
+     We can play nicely to the maximum possible extent by deleting our
+     filter iff it is currently deletable (i.e., it is on the top of
+     the filter stack).  Can still run into trouble in more complex
+     situations, but can't avoid that. */
+  if (PL_rsfp_filters && AvFILLp(PL_rsfp_filters) >= 0 &&
+      (filter_datasv = FILTER_DATA(AvFILLp(PL_rsfp_filters))) &&
+      IoANY(filter_datasv) == FPTR2DPTR(void *, dd_filter_realloc)) {
+    filter_del(dd_filter_realloc);
+  }
   return count;
 }
 
-STATIC OP *(*dd_old_ck_const)(pTHX_ OP*op);
+static int dd_handle_const(pTHX_ char *name) {
+  switch (PL_lex_inwhat) {
+    case OP_QR:
+    case OP_MATCH:
+    case OP_SUBST:
+    case OP_TRANS:
+    case OP_BACKTICK:
+    case OP_STRINGIFY:
+      return 0;
+      break;
+    default:
+      break;
+  }
+
+  if (strnEQ(PL_bufptr, "->", 2)) {
+    return 0;
+  }
+
+  {
+    char buf[256];
+    STRLEN len;
+    char *s = PL_bufptr;
+    STRLEN old_offset = PL_bufptr - SvPVX(PL_linestr);
+
+    s = scan_word(s, buf, sizeof buf, FALSE, &len);
+    if (strnEQ(buf, name, len)) {
+      char *d;
+      SV *inject = newSVpvn(SvPVX(PL_linestr), PL_bufptr - SvPVX(PL_linestr));
+      sv_catpvn(inject, buf, len);
+
+      d = peekspace(s);
+      sv_catpvn(inject, s, d - s);
+
+      if ((PL_bufend - d) >= 2 && strnEQ(d, "=>", 2)) {
+        return 0;
+      }
+
+      sv_catpv(inject, d);
+      dd_set_linestr(aTHX_ SvPV_nolen(inject));
+      PL_bufptr = SvPVX(PL_linestr) + old_offset;
+      SvREFCNT_dec (inject);
+    }
+  }
+
+  dd_linestr_callback(aTHX_ "const", name);
+
+  return 1;
+}
+
+#if !DD_CONST_VIA_RV2CV
 
-STATIC OP *dd_ck_const(pTHX_ OP *o) {
+STATIC OP *dd_ck_const(pTHX_ OP *o, void *user_data) {
   int dd_flags;
-  char* s;
   char* name;
 
-  o = dd_old_ck_const(aTHX_ o); /* let the original do its job */
+  PERL_UNUSED_VAR(user_data);
+
+  if (DD_HAVE_PARSER && PL_expect == XOPERATOR) {
+    return o;
+  }
+
+  /* if this is set, we just grabbed a delimited string or something,
+     not a bareword, so NO TOUCHY */
+
+  if (DD_HAVE_LEX_STUFF)
+    return o;
 
   /* don't try and look this up if it's not a string const */
   if (!SvPOK(cSVOPo->op_sv))
@@ -315,31 +519,51 @@ STATIC OP *dd_ck_const(pTHX_ OP *o) {
   if (dd_flags == -1)
     return o;
 
-  s = PL_bufptr;
+  dd_handle_const(aTHX_ name);
 
-  dd_linestr_callback(aTHX_ "const", name, s);
-
-  return o;  
+  return o;
 }
 
-static int initialized = 0;
+#endif /* !DD_CONST_VIA_RV2CV */
+
+STATIC void dd_initialize(pTHX) {
+  static int initialized = 0;
+  if (!initialized) {
+    initialized = 1;
+#if DD_GROW_VIA_BLOCKHOOK
+    {
+      static BHK bhk;
+#if PERL_VERSION_GE(5,13,6)
+      BhkENTRY_set(&bhk, bhk_start, dd_block_start);
+#else /* <5.13.6 */
+      BhkENTRY_set(&bhk, start, dd_block_start);
+#endif /* <5.13.6 */
+      Perl_blockhook_register(aTHX_ &bhk);
+    }
+#else /* !DD_GROW_VIA_BLOCKHOOK */
+    hook_op_check(OP_ENTEREVAL, dd_ck_entereval, NULL);
+#endif /* !DD_GROW_VIA_BLOCKHOOK */
+    hook_op_check(OP_RV2CV, dd_ck_rv2cv, NULL);
+#if !DD_CONST_VIA_RV2CV
+    hook_op_check(OP_CONST, dd_ck_const, NULL);
+#endif /* !DD_CONST_VIA_RV2CV */
+  }
+}
 
 MODULE = Devel::Declare  PACKAGE = Devel::Declare
 
 PROTOTYPES: DISABLE
 
 void
+initialize()
+  CODE:
+    dd_initialize(aTHX);
+
+void
 setup()
   CODE:
-  if (!initialized++) {
-    dd_old_ck_rv2cv = PL_check[OP_RV2CV];
-    PL_check[OP_RV2CV] = dd_ck_rv2cv;
-    dd_old_ck_entereval = PL_check[OP_ENTEREVAL];
-    PL_check[OP_ENTEREVAL] = dd_ck_entereval;
-    dd_old_ck_const = PL_check[OP_CONST];
-    PL_check[OP_CONST] = dd_ck_const;
-  }
-  filter_add(dd_filter_realloc, NULL);
+    dd_initialize(aTHX);
+    filter_add(dd_filter_realloc, NULL);
 
 char*
 get_linestr()
@@ -373,6 +597,13 @@ get_curstash_name()
     RETVAL
 
 int
+get_linestr_offset()
+  CODE:
+    RETVAL = dd_get_linestr_offset(aTHX);
+  OUTPUT:
+    RETVAL
+
+int
 toke_scan_word(int offset, int handle_package)
   CODE:
     RETVAL = dd_toke_scan_word(aTHX_ offset, handle_package);
@@ -386,10 +617,20 @@ toke_move_past_token(int offset);
   OUTPUT:
     RETVAL
 
-int
+SV*
 toke_scan_str(int offset);
+  PREINIT:
+    int len;
   CODE:
-    RETVAL = dd_toke_scan_str(aTHX_ offset);
+    len = dd_toke_scan_str(aTHX_ offset);
+    RETVAL = len ? newSViv(len) : &PL_sv_undef;
+  OUTPUT:
+    RETVAL
+
+int
+toke_scan_ident(int offset)
+  CODE:
+    RETVAL = dd_toke_scan_ident(aTHX_ offset);
   OUTPUT:
     RETVAL
 
@@ -411,3 +652,15 @@ void
 set_in_declare(int value)
   CODE:
     in_declare = value;
+
+BOOT:
+{
+  char *endptr;
+  char *debug_str = getenv ("DD_DEBUG");
+  if (debug_str) {
+    dd_debug = strtol (debug_str, &endptr, 10);
+    if (*endptr != '\0') {
+      dd_debug = 0;
+    }
+  }
+}