Add lttng hash table support to liblttng-consumer

Remove linked list usage from liblttng-consumer and replace them by
lockless RCU hash tables.

Note that there is still a mutex lock protecting those hash tables and
no RCU lock mechanism used. For now, it's OK and a very small
performance hit.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove application from socket hash table upon unregister

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix id vs uid confusion introduced by merge of new hash table code

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove incorrect assert in hash table lookup

key can be NULL (0 value is allowed).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

lttng-sessiond: do not call ustctl_register_done()

When lttng-ust support is not enabled, compilation might fail with:
lttng-tools.git/lttng-sessiond/main.c:1167: undefined reference to
`ustctl_register_done'

Actually when HAVE_LIBLTTNG_UST_CTL is not defined, the function call is
normally optimized out by the compiler because ust_app_register() is a
static inline alway returning a negative value, leaving the call within
unreachable code.

Depending on the compiler version and optimization flags, this may
however not always happen, leading to the above error.

Therefore replace ustctl_register_done() with ustapp_register_done(),
which calls the original function when lttng-ust is enabled, and returns
an error otherwise (it is unreachable code anyway).

Signed-off-by: Gerlando Falauto <gerlando.falauto@keymile.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add and support the new hash table library

liblttng-ht/ is the library introduced for hash table management.

This library uses the URCU ht-shrink branch (not yet upstream) making
the lib completely lockless. Import git head URCU hashtables at commit:
91a75cc579698814e47877cc8927fcae1f573739

Note that urcu hash table files are copied from the urcu git ree to this
git tree waiting for them to be upstream and stable.

Old hash table files are removed from libcommon.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add missing Makefile.am in common/

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Move runas to common/

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Move hash table to common/ directory

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

runas: use CLONE_VM flag

Having to clone the vma each time runas is executed brings a significant
slowdown to the "start" operation when done with attached application,
and to the file creation needed when an application is attaching to the
sessiond. Use CLONE_VM flag to speed this up.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

runas: use waitpid instead of wait

Deal with multithreading by waiting specifically for the pid we cloned.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to 2.0-pre16

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

test_sessions: add fflush after printf not ending with newline

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

clone: return instead of exit()

Calling exit() from the cloned process is a bad idea, because we share
file descriptors with the parent, and exit() has side-effects (anyway,
more than the low-level _exit()).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix stack of librunas child by using mmap and a larger stack

Did cause SIGSEGV for tests/test_sessions.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Only seteuid/setegid if they differ from current values

According to seteuid(2):

       According to POSIX.1, seteuid() (setegid()) need not permit euid (egid)
       to be the same value as the current effective user (group) ID, and some
       implementations do not permit this.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Only allow the user or group owning the session (or root) to control a session

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

librunas: clone another process also if not root

Still useful to isolate umask(0).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Create output directory at session creation command

Otherwise it is weird to see that we are using a directory that we don't
have write access to. Better to fail immediately on the create command.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement open_run_as, using clone() CLONE_FILES

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

librarize run_as

still TODO: finish open_run_as -- need to pass the file descriptor back
to the parent. Currently using a racy open+fchown work-around.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement run_as wrappers for mkdir/mkdir_recursive/open

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Introduce run_as for mkdir_recursive

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Create all trace directories and files with client user credentials

Keep the client user credentials that created a session along with the
session. Use exactly those credentials to chown the created directories
and files.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Rename sessiond internal "uid" fields to "id"

Ensure we don't confuse "user ID" (UID) and session unique ID
(session_id or id).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Change easter egg MSG to DBG

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add debug statement

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Support creds passing between lttng and sessiond

From now on, the lttng command line sends it's credential at each
command along with the regular communication data.

The tracing output directory is set to those credentials (uid/gid) if
the session daemon is running as a regular user (even if the user is in
the tracing group). So *no* tracing group is ever set if the session
daemon is not running as a non-root user.

If the sessiond is running as root, the tracing group is set (if exist)
and the uid of the calling user is used.

This fixes the triple enable-channel/event needed to trace UST
applications with a non-root session daemon. This was reported by
Yannick Brosseau <yannick.brosseau@polymtl.ca>.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add support for passing credentials over Unix sock

Add lttcomm_* functions for sending, receiving and setting socket option
to pass credentials over a Unix socket. Those functions allowed normal
data to be pass as well.

First commit of a series to enable credentials passing between the lttng
command line client and the session daemon.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix nested double usage of hashtable iterators

Also cleanup iterator declaration by moving the nested iterator inside
the loop scope.

Reported-by: Yannick Brosseau <yannick.brosseau@polymtl.ca>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add disable kernel tracing option to sessiond

Use --no-kernel to completely disable kernel tracing.

Reported-by: Tan Dung Le Tran <tan.dung.le.tran@ericsson.com>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update version to 2.0-pre15

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change liburcu dependency to 0.6.7

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing files needed for release

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix register consumer fd test on registration

When a kernel session is created, a consumer is immediately spawned. So,
using two sessions, the second one was not able to register it's own
consumer since the consumer_fd is set because there is a running kernel
consumer from the first created session. The flag consumer_fds_sent is
now used to test if the kernel consumer is already consuming buffers.

Reported-by: Julien Desfossez <julien.desfossez@polymtl.ca>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix code syntax

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update quickstart with UST tracing howto

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Deprecate lttng-cli.txt file

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing consumer binary name in execl

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix flush buffer after wait quiescent

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Flush UST buffers after stop and wait quiescent

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing release handle declaration

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

UST support: release session handle on destroy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix unused variables

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Flush buffers on UST stop trace

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add non-root support for UST tracing

User-space tracing can now be used without root access meaning that the
session daemon can run with the user credentials and trace his own
applications.

This adds the LTTNG_HOME_RUNDIR which is located, under non privileged
user, in $HOME/.lttng. It contains all the control and consumers
sockets. It is cleanup when lttng-sessiond dies.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add error message when config file not found

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix kernel listing enable status

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Minor fix return value

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve UST channel code

Better breakdown of the code when creating/enabling/disabling UST
channel.

No new features added. It's mostly a refactoring.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve UST context code

Better breakdown of code when adding context to an event or channel.
This also fix possible memory leak of ust context data structure.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Multiple fixes for enable/disable UST support

Makes the enable/disable command inside the main.c uses the event.c
functions. For this, the disable tracepoint functions (single and all)
for UST are added to event.c

Also fix the goto error path in event.c for disable/enable functions
where the UST event was removed from the hashtable if the event already
exist on the tracer side.

Fix the wrong hashtable being used for events lookup in ust_app.c for
enable/disable event for UST global domain.

Adds the disable event per PID function call in ust_app.c

At this commit, the "lttng disable-event -a -u" command segfault
lttng-ust at commit 5cd29ace704432c7a421f7749ef8591e30e1894c.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix wrong lttng_channel name size

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix wrong sizeof on channel name copy

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix enable event -u -a

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update consumerd search paths comment

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Document wildcards for userspace tracer

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Prefer using the native consumer over 32-bit consumer for kernel

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Change lttng command line options for UST domain

lttng command line option --all is removed and replace by using -u alone
which indicates that the command must be applied to the UST global
domain.

$ lttng enable-event -u --all
is changed to
$ lttng enable-event -u

Also, the long option for -a, --all-events, is replaced by --all.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

API change for lttng_list_domains prototype

Now takes a session name and no lttng_handle anymore.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

API change for lttng_start/stop_tracing prototype

Now takes a session name and no lttng_handle anymore.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

API change for lttng_destroy_session prototype

Now takes a session name and no lttng_handle anymore.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master'

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add support for UST enable all tracepoints

Support to enable all tracepoints for UST global domain

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

update loglevel printout

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup lttng enable event command

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

listing and activation of loglevel by number

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

loglevels: allow enable/disable

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add loglevel to event list

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

ABIs now support 256 char event names

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update symbol name len size limit to 256

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Use the consumerd_bin variables for kernel consumers too

Right now the sessiond will only look in its own directory for
the consumerd when starting a kernel trace. This patch makes it
check for consumerd32_bin and consumerd64_bin too.

Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Rename consumerd32/64_path options to _bin

The _path suffix was confusing as to whether it would include the
filename at the end or not. In fact it should (to allow greater
flexibility in moving/renaming the consumerd executable).

Rename all configure options, env vars and substition variables to
consumerd32/64_bin instead, and expect the user to pass a complete
basename + filename to those.

Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix ust app tracepoint list realloc

- memcpy data _after_ reallocation (corruption fix),
- fix off-by-one in size check (corruption fix),
- multiply size by 2 each time size increase is needed (optimisation).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix bad return value on enable syscalls making it freeze

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update libpopt dependency to 1.13

After careful review of popt cvs tree, after cross-correlation of CHANGE
file with source code POPT_ARGFLAG_OPTIONAL updates, identified that the
updates to this part of the code end at 1.13.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Document dependency on libpopt >= 1.8

ref: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=285666

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Describe autotools/libtool/automake version dependency

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove m4_ifdef for AC_PROG_LIBTOOL (deprecated)

This trick does not seem to work anyway.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix --disable-lttng-ust build after UST API update

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update following loglevel support UST API change

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add missing rcu read lock

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Cleanup ust app delete functions

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing declaration without UST support

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Support for UST context

Adds the support to add context on channel and/or events for UST global
domain.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Remove function:entry option to discourage its use

Removed from kernel tracer.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add context exist error code

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix realloc invalid next size

Reported-by: Tan Dung Le Tran <tan.dung.le.tran@ericsson.com>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Support older versions of autotools

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add a --with-consumerd-only configure option

This will only build the consumer daemon (and its liblttng-consumer
library), and skip the lttng and lttng-sessiond binaries.

This will be useful when a user wants to support both 32-bit and
64-bit applications on the same system. Only one sessiond is
needed, but we need a consumer for each architecture.

Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup configure.ac

Use AS_IF() and AS_ECHO() macros whenever possible.
Print the configuration options at the end of the script
(so they don't get lost in the sea of the configure output).

Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix ust_app_clean_list segfault

The 4th parameter of cds_lfht_for_each_entry is the member of the
structure, not a pointer to a variable. Therefore, node was never
populated.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Check hashtable_del return values

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix disable/enable channel when app registers

Upon registration, a disable channel in the global domain was created
but not disabled afterwords being enabled by default on the tracer. This
commit fix that for channels and events as well.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rename ust app function for better semantic

Replace _all by _glb meaning global. This family of functions (ending
with _glb) apply an action on *all* registered applications.

Also fix the setting the enabled flag on disable-event.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add UST event not found error code

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix enable-event for UST events

When enabling an existing event, a new event creation occured which was
simply the bad thing to do. This patch fix that by adding the
enable_ust_event call for the case.

Also fixes a segfault where any UST object could be release with the
data pointer being set to NULL.

This patch introduce also assert() in the UST app code for
create/enable/disable event. The purpose is to catch, in dev, the bad
code execution flow and fix it.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add UST event exist error code

Signed-off-by: David Goulet <david.goulet@polymtl.ca>