Scalability fix for many events: event hash table size
[lttng-ust.git] / include / lttng / ust-events.h
index f1ef8c91ee7f6f52cf6e7105147e0317c2dbc7a2..b5d758500af19382249bb23f60404a9bc8b96f86 100644 (file)
@@ -4,18 +4,27 @@
 /*
  * lttng/ust-events.h
  *
- * Copyright 2010 (c) - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright 2010-2012 (c) - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
  *
  * Holds LTTng per-session event registry.
  *
- * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
- * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to deal
+ * in the Software without restriction, including without limitation the rights
+ * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+ * copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
  *
- * Permission is hereby granted to use or copy this program
- * for any purpose,  provided the above notices are retained on all copies.
- * Permission to modify the code and to distribute modified code is granted,
- * provided the above notices are retained, and a notice that the code was
- * modified is included with the above copyright notice.
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+ * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+ * SOFTWARE.
  */
 
 #include <urcu/list.h>
@@ -28,8 +37,8 @@
 
 #define LTTNG_UST_UUID_LEN             16
 
-struct ltt_channel;
-struct ltt_session;
+struct lttng_channel;
+struct lttng_session;
 struct lttng_ust_lib_ring_buffer_ctx;
 
 /*
@@ -51,7 +60,7 @@ enum lttng_client_types {
 /* Type description */
 
 /* Update the astract_types name table in lttng-types.c along with this enum */
-enum abstract_types {
+enum lttng_abstract_types {
        atype_integer,
        atype_enum,
        atype_array,
@@ -146,7 +155,7 @@ union _lttng_basic_type {
 };
 
 struct lttng_basic_type {
-       enum abstract_types atype;
+       enum lttng_abstract_types atype;
        union {
                union _lttng_basic_type basic;
        } u;
@@ -154,7 +163,7 @@ struct lttng_basic_type {
 
 #define LTTNG_UST_TYPE_PADDING 128
 struct lttng_type {
-       enum abstract_types atype;
+       enum lttng_abstract_types atype;
        union {
                union _lttng_basic_type basic;
                struct {
@@ -178,12 +187,19 @@ struct lttng_enum {
        char padding[LTTNG_UST_ENUM_TYPE_PADDING];
 };
 
-/* Event field description */
+/*
+ * Event field description
+ *
+ * IMPORTANT: this structure is part of the ABI between the probe and
+ * UST. Fields need to be only added at the end, never reordered, never
+ * removed.
+ */
 
-#define LTTNG_UST_EVENT_FIELD_PADDING  32
+#define LTTNG_UST_EVENT_FIELD_PADDING  28
 struct lttng_event_field {
        const char *name;
        struct lttng_type type;
+       unsigned int nowrite;   /* do not write into trace */
        char padding[LTTNG_UST_EVENT_FIELD_PADDING];
 };
 
@@ -193,7 +209,7 @@ struct lttng_ctx_field {
        size_t (*get_size)(size_t offset);
        void (*record)(struct lttng_ctx_field *field,
                       struct lttng_ust_lib_ring_buffer_ctx *ctx,
-                      struct ltt_channel *chan);
+                      struct lttng_channel *chan);
        union {
                char padding[LTTNG_UST_CTX_FIELD_PADDING];
        } u;
@@ -211,13 +227,18 @@ struct lttng_ctx {
 #define LTTNG_UST_EVENT_DESC_PADDING   40
 struct lttng_event_desc {
        const char *name;
-       void *probe_callback;
+       void (*probe_callback)(void);
        const struct lttng_event_ctx *ctx;      /* context */
        const struct lttng_event_field *fields; /* event payload */
        unsigned int nr_fields;
        const int **loglevel;
        const char *signature;  /* Argument types/names received */
-       char padding[LTTNG_UST_EVENT_DESC_PADDING];
+       union {
+               struct {
+                       const char **model_emf_uri;
+               } ext;
+               char padding[LTTNG_UST_EVENT_DESC_PADDING];
+       } u;
 };
 
 #define LTTNG_UST_PROBE_DESC_PADDING   40
@@ -231,33 +252,26 @@ struct lttng_probe_desc {
 
 /* Data structures used by the tracer. */
 
-/*
- * Entry describing a per-session active wildcard, along with the event
- * attribute and channel information configuring the events that need to
- * be enabled.
- */
-struct session_wildcard {
-       struct ltt_channel *chan;
-       struct lttng_ctx *ctx;  /* TODO */
-       struct lttng_ust_event event_param;
-       struct cds_list_head events;    /* list of events enabled */
-       struct cds_list_head list;      /* per-session list of wildcards */
-       struct cds_list_head session_list; /* node of session wildcard list */
-       struct wildcard_entry *entry;
-       unsigned int enabled:1;
+enum lttng_enabler_type {
+       LTTNG_ENABLER_WILDCARD,
+       LTTNG_ENABLER_EVENT,
 };
 
 /*
- * Entry describing an active wildcard (per name) for all sessions.
+ * Enabler field, within whatever object is enabling an event. Target of
+ * backward reference.
  */
-struct wildcard_entry {
-       /* node of global wildcards list */
-       struct cds_list_head list;
-       /* head of session list to which this wildcard apply */
-       struct cds_list_head session_list;
-       enum lttng_ust_loglevel_type loglevel_type;
-       int loglevel;
-       char name[0];
+struct lttng_enabler {
+       enum lttng_enabler_type type;
+
+       /* head list of struct lttng_ust_filter_bytecode_node */
+       struct cds_list_head filter_bytecode_head;
+       struct cds_list_head node;      /* per-session list of enablers */
+
+       struct lttng_ust_event event_param;
+       struct lttng_channel *chan;
+       struct lttng_ctx *ctx;
+       unsigned int enabled:1;
 };
 
 struct tp_list_entry {
@@ -270,41 +284,105 @@ struct lttng_ust_tracepoint_list {
        struct cds_list_head head;
 };
 
+struct tp_field_list_entry {
+       struct lttng_ust_field_iter field;
+       struct cds_list_head head;
+};
+
+struct lttng_ust_field_list {
+       struct tp_field_list_entry *iter;
+       struct cds_list_head head;
+};
+
 struct ust_pending_probe;
+struct lttng_event;
+
+struct lttng_ust_filter_bytecode_node {
+       struct cds_list_head node;
+       struct lttng_enabler *enabler;
+       /*
+        * struct lttng_ust_filter_bytecode has var. sized array, must
+        * be last field.
+        */
+       struct lttng_ust_filter_bytecode bc;
+};
+
+/*
+ * Filter return value masks.
+ */
+enum lttng_filter_ret {
+       LTTNG_FILTER_DISCARD = 0,
+       LTTNG_FILTER_RECORD_FLAG = (1ULL << 0),
+       /* Other bits are kept for future use. */
+};
+
+struct lttng_bytecode_runtime {
+       /* Associated bytecode */
+       struct lttng_ust_filter_bytecode_node *bc;
+       uint64_t (*filter)(void *filter_data, const char *filter_stack_data);
+       int link_failed;
+       struct cds_list_head node;      /* list of bytecode runtime in event */
+};
 
 /*
- * ltt_event structure is referred to by the tracing fast path. It must be
- * kept small.
+ * Objects in a linked-list of enablers, owned by an event.
  */
-struct ltt_event {
+struct lttng_enabler_ref {
+       struct cds_list_head node;              /* enabler ref list */
+       struct lttng_enabler *ref;              /* backward ref */
+};
+
+/*
+ * lttng_event structure is referred to by the tracing fast path. It
+ * must be kept small.
+ *
+ * IMPORTANT: this structure is part of the ABI between the probe and
+ * UST. Fields need to be only added at the end, never reordered, never
+ * removed.
+ */
+struct lttng_event {
+       /* LTTng-UST 2.0 starts here */
        unsigned int id;
-       struct ltt_channel *chan;
+       struct lttng_channel *chan;
        int enabled;
        const struct lttng_event_desc *desc;
-       void *filter;
+       void *_deprecated1;
        struct lttng_ctx *ctx;
        enum lttng_ust_instrumentation instrumentation;
        union {
        } u;
-       struct cds_list_head list;              /* Event list */
-       struct cds_list_head wildcard_list;     /* Event list for wildcard */
-       struct ust_pending_probe *pending_probe;
+       struct cds_list_head node;              /* Event list in session */
+       struct cds_list_head _deprecated2;
+       void *_deprecated3;
        unsigned int metadata_dumped:1;
+
+       /* LTTng-UST 2.1 starts here */
+       /* list of struct lttng_bytecode_runtime, sorted by seqnum */
+       struct cds_list_head bytecode_runtime_head;
+       int has_enablers_without_bytecode;
+       /* Backward references: list of lttng_enabler_ref (ref to enablers) */
+       struct cds_list_head enablers_ref_head;
+       struct cds_hlist_node hlist;    /* session ht of events */
 };
 
 struct channel;
 struct lttng_ust_shm_handle;
 
-struct ltt_channel_ops {
-       struct ltt_channel *(*channel_create)(const char *name,
+/*
+ * IMPORTANT: this structure is part of the ABI between the probe and
+ * UST. Fields need to be only added at the end, never reordered, never
+ * removed.
+ */
+struct lttng_channel_ops {
+       struct lttng_channel *(*channel_create)(const char *name,
                                void *buf_addr,
                                size_t subbuf_size, size_t num_subbuf,
                                unsigned int switch_timer_interval,
                                unsigned int read_timer_interval,
                                int **shm_fd, int **wait_fd,
                                uint64_t **memory_map_size,
-                               struct ltt_channel *chan_priv_init);
-       void (*channel_destroy)(struct ltt_channel *ltt_chan);
+                               struct lttng_channel *chan_priv_init);
+       void (*channel_destroy)(struct lttng_channel *lttng_chan);
        struct lttng_ust_lib_ring_buffer *(*buffer_read_open)(struct channel *chan,
                                struct lttng_ust_shm_handle *handle,
                                int **shm_fd, int **wait_fd,
@@ -330,7 +408,12 @@ struct ltt_channel_ops {
        int (*flush_buffer)(struct channel *chan, struct lttng_ust_shm_handle *handle);
 };
 
-struct ltt_channel {
+/*
+ * IMPORTANT: this structure is part of the ABI between the probe and
+ * UST. Fields need to be only added at the end, never reordered, never
+ * removed.
+ */
+struct lttng_channel {
        /*
         * The pointers located in this private data are NOT safe to be
         * dereferenced by the consumer. The only operations the
@@ -341,12 +424,12 @@ struct ltt_channel {
        int enabled;
        struct lttng_ctx *ctx;
        /* Event ID management */
-       struct ltt_session *session;
+       struct lttng_session *session;
        int objd;                       /* Object associated to channel */
        unsigned int free_event_id;     /* Next event ID to allocate */
        unsigned int used_event_id;     /* Max allocated event IDs */
-       struct cds_list_head list;      /* Channel list */
-       struct ltt_channel_ops *ops;
+       struct cds_list_head node;      /* Channel list in session */
+       struct lttng_channel_ops *ops;
        int header_type;                /* 0: unset, 1: compact, 2: large */
        struct lttng_ust_shm_handle *handle;    /* shared-memory handle */
        unsigned int metadata_dumped:1;
@@ -357,32 +440,49 @@ struct ltt_channel {
        unsigned char uuid[LTTNG_UST_UUID_LEN]; /* Trace session unique ID */
 };
 
-struct ltt_session {
-       int active;                     /* Is trace session active ? */
-       int been_active;                /* Has trace session been active ? */
-       int objd;                       /* Object associated to session */
-       struct ltt_channel *metadata;   /* Metadata channel */
-       struct cds_list_head chan;      /* Channel list head */
-       struct cds_list_head events;    /* Event list head */
-       struct cds_list_head wildcards; /* Wildcard list head */
-       struct cds_list_head list;      /* Session list */
-       unsigned int free_chan_id;      /* Next chan ID to allocate */
+#define LTTNG_UST_EVENT_HT_BITS                12
+#define LTTNG_UST_EVENT_HT_SIZE                (1U << LTTNG_UST_EVENT_HT_BITS)
+
+struct lttng_ust_event_ht {
+       struct cds_hlist_head table[LTTNG_UST_EVENT_HT_SIZE];
+};
+
+/*
+ * IMPORTANT: this structure is part of the ABI between the probe and
+ * UST. Fields need to be only added at the end, never reordered, never
+ * removed.
+ */
+struct lttng_session {
+       int active;                             /* Is trace session active ? */
+       int been_active;                        /* Been active ? */
+       int objd;                               /* Object associated */
+       struct lttng_channel *metadata;         /* Metadata channel */
+       struct cds_list_head chan_head;         /* Channel list head */
+       struct cds_list_head events_head;       /* list of events */
+       struct cds_list_head _deprecated1;
+       struct cds_list_head node;              /* Session list */
+       unsigned int free_chan_id;              /* Next chan ID to allocate */
        unsigned char uuid[LTTNG_UST_UUID_LEN]; /* Trace session unique ID */
        unsigned int metadata_dumped:1;
+
+       /* New UST 2.1 */
+       /* List of enablers */
+       struct cds_list_head enablers_head;
+       struct lttng_ust_event_ht events_ht;    /* ht of events */
 };
 
-struct ltt_transport {
+struct lttng_transport {
        char *name;
        struct cds_list_head node;
-       struct ltt_channel_ops ops;
+       struct lttng_channel_ops ops;
 };
 
-struct ltt_session *ltt_session_create(void);
-int ltt_session_enable(struct ltt_session *session);
-int ltt_session_disable(struct ltt_session *session);
-void ltt_session_destroy(struct ltt_session *session);
+struct lttng_session *lttng_session_create(void);
+int lttng_session_enable(struct lttng_session *session);
+int lttng_session_disable(struct lttng_session *session);
+void lttng_session_destroy(struct lttng_session *session);
 
-struct ltt_channel *ltt_channel_create(struct ltt_session *session,
+struct lttng_channel *lttng_channel_create(struct lttng_session *session,
                                       const char *transport_name,
                                       void *buf_addr,
                                       size_t subbuf_size, size_t num_subbuf,
@@ -390,8 +490,8 @@ struct ltt_channel *ltt_channel_create(struct ltt_session *session,
                                       unsigned int read_timer_interval,
                                       int **shm_fd, int **wait_fd,
                                       uint64_t **memory_map_size,
-                                      struct ltt_channel *chan_priv_init);
-struct ltt_channel *ltt_global_channel_create(struct ltt_session *session,
+                                      struct lttng_channel *chan_priv_init);
+struct lttng_channel *lttng_global_channel_create(struct lttng_session *session,
                                       int overwrite, void *buf_addr,
                                       size_t subbuf_size, size_t num_subbuf,
                                       unsigned int switch_timer_interval,
@@ -399,28 +499,32 @@ struct ltt_channel *ltt_global_channel_create(struct ltt_session *session,
                                       int **shm_fd, int **wait_fd,
                                       uint64_t **memory_map_size);
 
-int ltt_event_create(struct ltt_channel *chan,
+int lttng_channel_enable(struct lttng_channel *channel);
+int lttng_channel_disable(struct lttng_channel *channel);
+
+struct lttng_enabler *lttng_enabler_create(enum lttng_enabler_type type,
                struct lttng_ust_event *event_param,
-               void *filter,
-               struct ltt_event **event);
+               struct lttng_channel *chan);
+int lttng_enabler_enable(struct lttng_enabler *enabler);
+int lttng_enabler_disable(struct lttng_enabler *enabler);
+int lttng_enabler_attach_bytecode(struct lttng_enabler *enabler,
+               struct lttng_ust_filter_bytecode_node *bytecode);
+int lttng_enabler_attach_context(struct lttng_enabler *enabler,
+               struct lttng_ust_context *ctx);
 
-int ltt_channel_enable(struct ltt_channel *channel);
-int ltt_channel_disable(struct ltt_channel *channel);
-int ltt_event_enable(struct ltt_event *event);
-int ltt_event_disable(struct ltt_event *event);
+int lttng_attach_context(struct lttng_ust_context *context_param,
+               struct lttng_ctx **ctx, struct lttng_session *session);
 
-void ltt_transport_register(struct ltt_transport *transport);
-void ltt_transport_unregister(struct ltt_transport *transport);
+void lttng_transport_register(struct lttng_transport *transport);
+void lttng_transport_unregister(struct lttng_transport *transport);
 
 void synchronize_trace(void);
 
-int ltt_probe_register(struct lttng_probe_desc *desc);
-void ltt_probe_unregister(struct lttng_probe_desc *desc);
-int pending_probe_fix_events(const struct lttng_event_desc *desc);
-const struct lttng_event_desc *ltt_event_get(const char *name);
-void ltt_event_put(const struct lttng_event_desc *desc);
-int ltt_probes_init(void);
-void ltt_probes_exit(void);
+int lttng_probe_register(struct lttng_probe_desc *desc);
+void lttng_probe_unregister(struct lttng_probe_desc *desc);
+int lttng_fix_pending_event_desc(const struct lttng_event_desc *desc);
+int lttng_probes_init(void);
+void lttng_probes_exit(void);
 int lttng_find_context(struct lttng_ctx *ctx, const char *name);
 struct lttng_ctx_field *lttng_append_context(struct lttng_ctx **ctx_p);
 void lttng_remove_context_field(struct lttng_ctx **ctx_p,
@@ -433,26 +537,27 @@ int lttng_add_procname_to_ctx(struct lttng_ctx **ctx);
 void lttng_context_vtid_reset(void);
 void lttng_context_vpid_reset(void);
 
-const struct lttng_ust_lib_ring_buffer_client_cb *lttng_client_callbacks_metadata;
-const struct lttng_ust_lib_ring_buffer_client_cb *lttng_client_callbacks_discard;
-const struct lttng_ust_lib_ring_buffer_client_cb *lttng_client_callbacks_overwrite;
+extern const struct lttng_ust_lib_ring_buffer_client_cb *lttng_client_callbacks_metadata;
+extern const struct lttng_ust_lib_ring_buffer_client_cb *lttng_client_callbacks_discard;
+extern const struct lttng_ust_lib_ring_buffer_client_cb *lttng_client_callbacks_overwrite;
 
-struct ltt_transport *ltt_transport_find(const char *name);
+struct lttng_transport *lttng_transport_find(const char *name);
 
-int ltt_probes_get_event_list(struct lttng_ust_tracepoint_list *list);
-void ltt_probes_prune_event_list(struct lttng_ust_tracepoint_list *list);
+int lttng_probes_get_event_list(struct lttng_ust_tracepoint_list *list);
+void lttng_probes_prune_event_list(struct lttng_ust_tracepoint_list *list);
 struct lttng_ust_tracepoint_iter *
        lttng_ust_tracepoint_list_get_iter_next(struct lttng_ust_tracepoint_list *list);
-
-int ltt_wildcard_enable(struct session_wildcard *wildcard);
-int ltt_wildcard_disable(struct session_wildcard *wildcard);
-int ltt_wildcard_create(struct ltt_channel *chan,
-       struct lttng_ust_event *event_param,
-       struct session_wildcard **sl);
-int ltt_loglevel_match(const struct lttng_event_desc *desc,
-               enum lttng_ust_loglevel_type req_type,
-               int req_loglevel);
-void ltt_probes_create_wildcard_events(struct wildcard_entry *entry,
-                               struct session_wildcard *wildcard);
+int lttng_probes_get_field_list(struct lttng_ust_field_list *list);
+void lttng_probes_prune_field_list(struct lttng_ust_field_list *list);
+struct lttng_ust_field_iter *
+       lttng_ust_field_list_get_iter_next(struct lttng_ust_field_list *list);
+
+void lttng_filter_event_link_bytecode(struct lttng_event *event);
+void lttng_enabler_event_link_bytecode(struct lttng_event *event,
+               struct lttng_enabler *enabler);
+void lttng_free_event_filter_runtime(struct lttng_event *event);
+void lttng_filter_sync_state(struct lttng_bytecode_runtime *runtime);
+
+struct cds_list_head *lttng_get_probe_list_head(void);
 
 #endif /* _LTTNG_UST_EVENTS_H */
This page took 0.029531 seconds and 4 git commands to generate.