SQL Server & BI Blog by Andreas Wolter

Pre-Con Title:

The Present and Future: In-Memory in SQL Server – from 0 to Operational Analytics Master

Track:                DBA/DEV

Pre-Con Abstract:

When the Columnstore Index technology, based on the xVelocity In-Memory engine, came with SQL Server 2012 in the form of Nonclustered Columnstore, and SQL Server 2014 brought us updatable Clustered Columnstore Indexes plus a completely new In-Memory OLTP Engine, “XTP”, for memory optimized table & indexes, those features were still new and because of their limitations used only rarely.

SQL Server 2016 takes both technology onto a whole new level:

Columnstore indexes among other things now support snapshot isolation and hence fully support readable secondaries. Batch execution is not exclusively for parallel threaded queries anymore. They can be combined with other B-tree indexes and even be filtered and support referential integrity with primary and foreign key constraints. Also so-called In-Memory Operational Analytics is supported by the ability to create Columnstore Indexes on memory optimized tables.

On the other hand the In-Memory engine has been extensively improved in terms of both scalability and T-SQL language support, taking away many of the relevant limitations for adaption of version 1 in a similar way than the Columnstore technology. For example altering of pre-compiled objects is now possible, bucket-counts can be adjusted, natively compiled stored procedures can be recompiled and foreign keys are supported as well as encryption with TDE.

All those improvements will make In-Memory technologies a viable option in many projects. For Datawarehouses many (including me) say, that Columnstore will become the default storage type for all objects. And it can be foreseen that over the years the same will happen for OLTP-tables that have to support highly concurrent workloads will be based on memory optimized tables.

It’s time to extend our skills to those technologies to be able implement and support the new types of storage that are coming to our databases to address the fact of ever more data being stored and queried and performance demands and (real time) analytic requirements going up.

At this full-day training day, Microsoft Certified Master for the Data Platform Andreas Wolter, familiar with SQL Servers In-Memory technologies from the early bits on, will give a complete picture on the current state of technology. Attendees will learn how and where to use either In-Memory OLTP or Columnstore or even both for efficient queries and data storing and the important bits both from developers and administrators perspective.

Modules/Topics Include:

1.          Columnstore Storage Engine and compression internals

2.          What is the benefit for OLAP performance

3.          When to use Clustered or Nonclustered Columnstore Indexes

4.          XTP Engine internals for In-Memory OLTP performance benefits

5.          Memory optimized Tables, indexes and Variables

6.          Natively compiled stored procedures & triggers

7.          Combination of Row-Store, Columnstore/xVelocity and XTP engine for operational analytics

Key Takeaways:

1.          How the new storage engines Columnstore & XTP work behind the covers

2.          What are the strengths and weaknesses of these alternate storage engines and how can they be played out best

3.          How to get a quick start with In-Memory optimized objects in almost any environment

4.          What are the typical performance patterns that these technologies address

5.          How to build highly performing Datawarehouse tables

6.          How to improve OLTP hotspot tables with In-Memory technologies

7.          How to enable real-time analytics of operational data

8.          What’s important from file management perspective for administrators

9.          How can Columnstore and In-Memory Hash- & Range-indexes be maintained

10.        What hotspots can you expect for those technologies – or is there any?

Demos:

1.          Performance-Improvements for OLAP workloads with Nonclustered Columnstore indexes …

2.          … Clustered Columnstore indexes

3.          Performance-Improvements for OLTP workloads with memory optimized tables, indexes and code

4.          Operational analytics on row store vs operational analytics on In-Memory

5.          … all under different workload-types

6.          How do Columnstore indexes handle updates to data under the covers

7.          How In-Memory optimized objects look like on disk

Attendee Pre-requisites:

1.          Basic T-SQL knowledge for code-reading

2.          clustered vs nonclustered indexes basics

Cu in St. Augustin, Bangalore or Singapore – your turn to choose ;-)

Andreas

Vorträge für die großen Konferenzen 2016 eingereicht. Themen: Sicherheit - Performance - In-Memory

Pre-Conferences:

SQL Server Security black belt – attack, protect and keep secure

Security Hardening is a subject which, sooner or later, every DBA will face. Microsoft SQL Server, according to the NIST vulnerability database the most secure RDBMS for years, contains many features that help keep the data secure on different layers. At the same time, ever-new applications which use databases on your servers, support-personnel, deployment-processes, auditors, and other processes and real people are constantly demanding access to your Server.

At this full-day pre-conference you will see how external and internal attackers can gain access to sensitive data. You will then learn how to secure the different attack surfaces of a typical SQL Server, and protect not only Data at Rest but also Data in Use and Data in Transit and learn best practices to prevent common vulnerabilities.

In the second part you will get to know fundamental security principles such as

• Least Privilege;
• Segregation of Duties;
• Reconstruction of Events;
• Delegation of Authority;

and you will learn how to use built-in functionalities of SQL Server (some limited to v2016) to build your own security frameworks to secure Deployment and Monitoring, separate Job-permissions; how to implement time-based permissions and which techniques can help reconstruct security-relevant events.

If you are in charge of creating or implementing security concepts or need a full picture of attack surface protection and concepts, this session is exactly right for you.

In-Memory in SQL Server 2016 – from 0 to Operational Analytics Hero

The Columnstore Index technology came with SQL Server 2012 in the form of Nonclustered Columnstore, and SQL Server 2014 brought us updatable Clustered Columnstore Indexes and a completely new In-Memory Engine for memory optimized table & indexes.

SQL Server 2016 is adding the updatable Nonclustered Columnstore Indexes that can both operate on row store as well as on memory-optimized tables, called In-Memory Operational Analytics. With the In-Memory engine being extensively improved in terms of both scalability and T-SQL language support, In-Memory will become a viable option in many projects.

On this training day, attendees will be given a complete picture on the current state of technology and how and where to use either In-Memory OLTP or ColumnStore or both for efficient queries and data store.

General sessions:

Extended Events – The Top Features for efficient Traces

Extended Events, which entered the product in SQL Server 2008, are replacing the old SQL Trace & Profiler - and there are many good reasons for that. In this session you will see a selection of the most fascinating possibilities using this Tracing Framework. If you want to find out how to trace in a flexible and lightweight way, how to do advanced analysis directly inside the GUI, how to audit Database and Table-access without Auditing, how to analyze deadlocks without old-fashioned TraceFlags based on the built-in system_health session, this session is just for you. You will also learn how to use the GUI in an effective way for top-down-analysis and what is possible with some XQuery scripting.

Performance Analyzing SQL Server workloads with DMVs and XEvents

This session you will be lead you through an example performance-analysis using mainly DMVs and Extended Events. You will see how a top-down analysis using built-in tools can be conducted. This will include wait statistics on different scopes to identify performance problems and bottlenecks up to identifying query plan changes – with & without using the Query Store of SQL Server 2016. If you are new to performance analyzing this session will give you a practical insight into how to methodically approach performance troubleshooting.

SQL Server 2016 – the evolution of In-Memory technologies

For SQL Server 2014 a completely new In-Memory Engine for memory optimized table & indexes was integrated into SQL Server with in fact very limited functionality.

For SQL Server 2016 the In-Memory engine is being extensively improved in terms of both scalability as well as T-SQL language support. Moreover the ColumnStore index technology has been improved and can now even be combined with memory-optimized tables.

This session will provide an overview of the new possibilities and demonstrate where a particular technology may help – or where you cannot expect benefits. If you are planning to go on SQL Server 2016 any time soon, this session shows you two of the most important features that SQL Server 2016 brings.

SQL Server Security black belt series: Securing Data

You have installed SQL Server and have heard about several “best practices,” maybe renamed the sa account, but now what?

In this session you will see demos of several methods how an attacker can get access to data in Use & in Transit and see which available built-in technologies provide help in mitigating such attacks. You will be given guidance on how to systematically identify possible threats and ne given best practices at hand.

Among the technologies that can be seen are Network sniffing, a Threat Modeling Tool, TDE and the new Always Encrypted technology of SQL Server 2016. This session is mainly targeting Administrators but many concepts and samples should be valuable knowledge for developers as well.

SQL Server Security black belt series: Securing Operations

You got SQL Server up and running and thought you could easily secure it by completely denying all access to everybody else except you and your co-admin, but you realize that there are many more individuals demanding access for daily or weekly operations. You have heard about “Segregation of Duties” and “Least Privilege” and are looking into how you can properly implement it with SQL Server.

In this session you will learn about techniques and approaches on how to implement secure processes in order to ensure both “Least Privilege” and “Segregation of Duties” and at the same time “Reconstruction of Events.” Among the techniques shown are “time based-permissions” and custom server roles for performance analysis and job-monitoring.

“SQL Attack…ed” – SQL Server under attack via SQL Injection

One of the most frequently attacked targets is the data that resides in a database server. SQL Server is considered “secure by default,” but this is only relevant until the first databases and configurations have been changed. This is why most of the exploited weaknesses are due to misconfiguration or weak coding practices as opposed to security bugs in SQL Server itself, of which we had only a few in the last 10 years.

In this purely demo-based session you will see samples of several real-life attacks, from mere reading up to disrupting service availability via various types of manual and automated SQL Injection, including a broadly unknown elevation of privileges attack for a non-sa account.

If you have a database-server which is accessible by processes beyond your direct control or which even can be reached by some kind of frontend applications, and you are unsure what the possible security implications to watch out for, this session is meant for you.

Andreas

 PreCon: “In-Memory Internas: Clustered Columnstore & In-Memory OLTP Deep Dive”

Session: “In-Memory OLTP für Entwickler“ (In-Memory OLTP for Developers)

Extended Events – Top Features

From Locks to Dead-locks.  – Concurrency in SQL Server

“SQL Attack…ed” – SQL Server under attack via SQL Injection

PreCon: Hybrid IT – Azure Scenarios & Dynamic Infrastructure

Tracing with Extended Events – Top Features

-           If you are still using Profiler, or just started with XEvents, be sure to come along to see some of the nifty features ;-)

PreCon: New Index technologies: Clustered ColumnStore and In-Memory OLTP: the good and the bad

A journey into SQL Server Storage - from Memory to Disk

I hope to see YOU :-)

 Andreas

(Article only in German because the topic, “Searching for Speakers for regional Chapter meetings” addresses the German PASS Community.)

Diesmal möchte ich meinen Blog verwenden, um alle jene zu erreichen, die im SQL Server Umfeld tätig sind und die PASS Deutschland unterstützen und stärken möchten.

Wem „PASS Deutschland“ jetzt nichts sagt, eine kurze Erklärung:

PASS Deutschland e.V. (www.sqlpass.de), wie sie juristisch korrekt „angesprochen“ wird, ist DIE deutsche SQL Server Community in Form einer eingetragenen, nicht-kommerziellen Vereinigung, mit kostenfreier Mitgliedschaft. Sie ist ein offizielles Chapter der PASS International (www.sqlpass.org).

PASS steht für „ Professional Association for SQL Server” und wird daher nicht wie der Reise-Pass mit scharfem „s“ ausgesprochen, sondern „pæs“, aufgrund des englischen Wortstammes.

Die PASS Deutschland ist in sogenannte Regionalgruppen aufgeteilt, mit jeweiligen Regionalgruppenverantwortlichen, die sich in Ihren jeweiligen Regionen um die „face2face“ Treffen kümmern. Das heißt für einen Austragungsort/Sponsor sorgen, Mitteilungen an die jeweils zugeordneten Mitglieder versenden, und sich um Vortragssprecher für die jeweiligen Lokalveranstaltungen kümmern. Diese finden je nach Region zwischen all-monatlich und alle 3 Monate statt.
In der Regionlgruppe Köln/Bonn/Düsseldorf, die seit einigen Jahren von meinen Kollegen Christoph Muthmann, Tillmann Eitelberg und meiner selbst geführt wird, versuchen wir sogar pro Usertreff, monatlich, gleich 2 Vorträge anbieten zu können, um eine möglichst breite Zielgruppe, von Datenbankentwicklern, Administratoren bis zu BI-Entwicklern anzusprechen.

Und da wären wir nun beim Thema: Vorträge, bzw. Sprecher.

Regionalgruppentreffen sind mit Vorträgen im Allgemeinen weit attraktiver als ohne. Ich denke die Gründe liegen nahe.

Das Problem:

Jedoch sind viele professionelle Sprecher auch sehr stark in Ihre jeweiligen Betriebe gebunden oder anderweitig ausgebucht. Und so gestaltet sich die Planung der Usertreffen durchaus oft schwierig, wenn man Sprecher nicht allzu oft wiederholen möchte. Durch die deutschen Regionalgruppen (RG) hindurch sind geschätzte 40 Sprecher aktiv, von denen aber auch nur wenige Zeit haben, andere Regionen zu besuchen.

Als Regionalgruppenvertreter (RGV) kann und sollte man zwar durchaus auch einmal im Jahr in seiner eigenen RG einen Vortrag halten – mehr als zwei ist jedoch nicht gern gesehen, da eine RG keine One-Man/One-Company-Show darstellen soll – Unabhängigkeit ist uns im Verein wichtig.
In Köln mussten wir das Treffen im Januar 2015 sogar erstmalig seit langem wegen Sprechermangel ausfallen lassen. Andere Regionalgruppen haben aufgrund Sprechermangel die Anzahl der Treffen im Jahr auf bis zu 4 verringert. In Dresden, wo mein geschätzter Kollege Ralf Dietrich RGV ist, steht gar die Existenz der Regionalgruppe in Frage. Dort ist ein Problem natürlich auch die lange Anreise auf der einen Hand – und auf der anderen Hand offensichtlich eben auch, dass sich unter den lokalen Mitgliedern selten jemand findet, der sich die Zeit nehmen möchte um einen Vortrag auszuarbeiten & präsentieren.

Das ist sehr schade.

Deswegen hier mein Aufruf an alle Leser.

Gesucht seid Ihr: Anwender, Berater, Administratoren, Entwickler und Architekten

Anforderungen:

Wir stellen keine hochkomplexen Anforderungen.
JEDER, der im Bereich SQL Server arbeitet ist ein potentieller Sprecher. Natürlich liegt es nicht jedermann, vorne zu stehen. Aber wir haben ja nicht nur 50 Mitglieder, sondern mittlerweile über 2000 in Deutschland.
Ich bin sicher, fast jeder hat von einem spannenden Projekt, einer pfiffigen Umsetzung einer Anforderung, einer herausfordernden Lösung eines Problems zu berichten. Vorträge von Level 400 sind aus gutem Grunde eher der Ausnahmefall. (Erläuterung der Level nach Microsoft-Standard) Level 100 bis 300 und das Ganze im Wechsel bietet sich eher an, um für alltägliche Herausforderungen neue Impulse zu erhalten und nach einem Arbeitstag den Vortrag auch noch genießen zu können.

Abseits dessen, geht es eigentlich nur noch um das Thema:

Es muss um SQL Server gehen, zumindest teilweise. Das heißt auch ein Sharepoint-Thema ist denkbar, solange es dabei auch um SQL Server geht. Oder auch mal ein Vergleich von verschiedenen Datenbankmanagementsystemen, wie wir es auch schon hatten in Sachen In-Memory RDMSse.

Dauer:

Ein Vortrag sollte wenigstens 20-30 Minuten umfassen, dann kann man gut 2-3 solcher kleineren Vorträge an einem Abend anbieten.

Was hat man davon:

Zum einen natürlich ist damit immer ein Lerneffekt für sich selbst verbunden. So, wie man dokumentiertes besser nachvollziehen kann, geschieht das mit präsentierten Inhalten erst Recht. Davon abgesehen freuen wir uns alle über neue Gesichter vorne und in den meisten Regionalgruppen gibt es den Drink oder gar das Dinner auf Kosten der Regionalgruppe – manchmal auch aus privater Tasche des RGVs ;-)

Und hey: die PASS IST Community. Alles, was Sie bietet, Newsletter, Email-Benachrichtigungen, User-Treffen, SQLSaturday bis zur SQL Konferenz basiert zu 99% auf freiwilliger Arbeit von Mitgliedern.

Ohne die freiwilligen Helfer der Redaktion, Sprecher, RGVs und ja, auch des Vorstandes, wäre sie nicht, was sie ist: die erfolgreichste User-Gruppe über alle Microsoft-Produkte hinweg.

Also: fragt nicht, was die PASS für Euch tun kann, sondern was Ihr für Eure PASS tun könnt :-)

Und auch wer noch weiter denkt, und vielleicht gerne einmal auf größeren Konferenzen sprechen möchte, so ist das eigentlich das Beste, was man machen kann: Erfahrung in lokalen Usergroups sammeln und seinen Vortrag inhaltlich und vom Stil her kontinuierlich verbessern.
Einer ungeschriebenen „Regel“ nach, verläuft die ideale Sprecherkarriere in etwa so:

1. Einige Vorträge in lokalen Usergruppen halten, mit Teilnehmerzahlen von 10-50 in den größten.
2. Danach hat man gute Chancen, auf einem SQLSaturday des jeweiligen Landes zu sprechen. Diese sind ebenfalls kostenlose, eintägige Veranstaltungen, und eine gute Möglichkeit, sich vor größerem Publikum, in Deutschland 250-300, zu testen und bekannt zu werden.
3. Danach folgen oft weitere SQLSaturdays oder auch andere Konferenzen wie zB. die auch von der PASS organisierten SQLRallys, die in der Regel 2-3 tägig sind.
4. Die Krönung im Rahmen der PASS ist der PASS Summit in den USA. Das ist die weltweit größte Konferenz zu SQL Server, mittlerweile 5-tägig (inkl. PreCons) und 2014 über 5000 Teilnehmern, von denen man durchaus mal 150-300 in einem Raum haben kann.

Eine Persönliche Anekdote:

Mir selber ist es das erste Mal 2009 gelungen, auf dem PASS Summit USA als Sprecher ausgewählt zu werden, und im folgenden Jahr gleich mit 2 Vorträgen. Aber nicht, ohne zuvor die Runde über lokale Usergruppen, eine europäische und eine deutsche SQL Server Konferenz gedreht zu haben.
So kann es also kommen :-)
- Hätte ich ein Jahr davor gedacht, dass ich einmal in den USA auf der größten SQL Server Konferenz der Welt als Sprecher, obendrein zu dem heiklen Thema Security auftreten würde? Ganz gewiss nicht.
Wenn ich darüber so nachdenke, kann ich es eigentlich auch heute noch kaum fassen, 2015 mich schon als „alter Hase“ bezeichnen zu können. Und ganz gewiss bin ich weit davon entfernt, ein perfekter Sprecher zu sein.
Was heißt das? Üben üben üben. Und den Spaß am Thema und der Interaktion mit interessierten Teilnehmern nicht vergessen.

Auf jeden Fall sind diese Erfahrungen, der Austausch mit Teilnehmern und internationalen Sprechergrößen unbezahlbar.

Call to Action

Ich hoffe, dass sicher der eine oder andere ermutigt und angesprochen fühlt. Gerne beantworte ich natürlich auch weitere Fragen.
Und alle Regionalgruppenvertreter freuen sich natürlich besonders, wenn Ihr Ihnen einen Vorschlag sendet. Ihre Emails findet Ihr auf dieser Seite.

Bis bald in einer Regionalgruppe.

der Andreas

PS: Wow. Das ist einer der wenigen Artikel, die ich nur auf Deutsch verfassen muss, da es wirklich nur die deutsche PASS adressiert. Kaum zu glauben was einen Unterschied im Aufwand es macht, diesen Artikel nicht gleich zweimal, also in Deutsch als auch Englisch möglichst fehlerfrei und technisch akkurat niederzuschreiben. Und jede einzelne Korrektur im Nachgang auch nochmal an der richtigen Stelle im Englischen/Deutschen umsetzen zu müssen.