Lebih banyak orang awam yang mengoperasikan dan menelaah data. Memahami statistik yang rumit mungkin masih menjadi urusan ilmuwan data, tapi semua orang kini bisa mengambil keputusan berdasarkan data yang ada. Di tahun 2016, alat-alat penemuan big data yang lebih sederhana akan memberikan kemampuan pada analis bisnis untuk membeli set data di Hadoop cluster, kemudian membentuknya menjadi suatu kombinasi, dan bahkan menganalisa data-data itu dengan teknik ekplorasi. Memperluas eksplorasi data semacam ini akan meningkatkan akses self-service ke big data dan menyediakan hipotesa serta eksperimen yang lebih kaya, yang mendorong inovasi-inovasi terbaru.
Dibangunnya lab data eksperimental. Dengan lebih banyaknya hipotesa untuk diinvestigasi, ilmuwan data profesional akan menghadapi permintaan yang semakin meningkat dari perusahaan-perusahaan. Contohnya, bank, asuransi, dan perusahaan pengkreditan akan mengubah algoritma menjadi risiko harga, serta mencegah penipuan dengan lebih efektif. Tapi keputusan semacam itu sulit untuk dimigrasi dari suatu penilaian menjadi suatu keputusan. Bersiaplah untuk menghadapi pengayaan risiko eksperimen, penulisan kebijakan, dan pendeteksian penipuan untuk mengidentifikasi hotspot manfaat algoritma dengan lebih cepat dibanding para pesaing.
Munculnya inisiatif baru untuk memberikan solusi. Sebelumnya, pengadopsi big data tidak punya pilihan lain selain membangun cluster dan lingkungan big data sendiri. Tapi membangun, mengatur, dan menjaga sistem unik yang dibangun di Hadoop, Spark, dan teknologi baru lainnya itu membutuhkan biaya yang besar dan waktu yang banyak. Bahkan, waktu untuk membangun sendiri bisa sampai enam bulan. Siapa yang bisa menunggu selama itu? Di tahun 2016, kita akan melihat teknologi yang lebih dewasa dan lebih mainstream, berkat layanan dan aplikasi cloud dengan otomatisasi yang dikonfigurasi sebelumnya dan standarisasi cloud.
Neil Mendelson[/caption]
Virtualisasi data menjadi kenyataan. Perusahaan tidak hanya menangkap keberagaman data, mereka juga menggunakannya untuk berbagai algoritma, analitik, dan aplikasi. Tapi developer dan analis bukan hanya perlu tahu data mana ada di mana atau terjebak dengan satu metode akses. Akan terjadi pergeseran fokus; dari menggunakan satu teknologi, seperti NoSQL, Hadoop, relasional, spasial atau grafik, menjaditergantung pada virtualisasi data. Pengguna dan aplikasi terhubung ke data yang tervirtualisasi, melalui SQL, REST dan bahasa scripting. Teknologi virtualisasi data yang sukses akan menawarkan kinerja yang sama dengan metode awal, kompatibalitas, serta keamanan yang menyeluruh.
Pemograman alur data akan membuka pintu air. Gelombang awal pengadopsian big data fokus pada pemrosesan data yang hand coded. Alat-alat manajemen baru akan memisahkan dan menginsulasi teknologi fondasi big data dari kebutuhan pemrosesan data tingkat tinggi. Kita juga akan melihat munculnya pemograman alur data yang memanfaatkan paralelisme ekstrem, menyediakan fungsi daur ulang operator yang lebih sederhana, dan memberikan dukungan pluggable untuk fungsi statistik dan machine learning.
Big data memberikan ‘tugas’ pada AI . Tahun 2016 akan jadi tahun di mana teknologi Artificial Intelligence (AI) seperti Machine Learning (ML), Natural Language Processing (NLP), dan Property Graphs (PG) diterapkan pada tantangan pemrosesan data biasa. Sementara ML, NLP, dan PG sudah bisa diakses sebagai perpustakaan API di big data, pergeseran ini termasuk juga aplikasi teknologi di alat IT yang mendukung aplikasi, analitik real-time, dan ilmu data.
Melimpahnya data mencoba asal data untuk bersih-bersih. Perampingan data dulunya menjadi kemampuan yang tidak wajib karena begitu banyaknya data di dashboard perusahaan berasal dari gudang data yang terpercaya. Tapi di era big data, perampingan data itu menjadi wajib, karena pelanggan mencampur data perusahaan dengan set data pihak ketiga. Beberapa kombinasi baru ini akan menggabungkan data berkualitas tinggi dan yang diverifikasi vendor. Tapi yang lainnya akan menggunakan data yang tidak hanya sempurna secara resmi, tapi cukup bagus untuk jadi prototype. Saat penemuan yang bernilai ini berasal dari eksplorasi, manajer akan melihat perampingan data untuk tahu bagaimana usaha yang dibutuhkan untuk meningkatkannya menjadi berkualitas untuk produksi.
IoT + Cloud = Aplikasi Big Data sempurna. Layanan big data adalah yang bekerja di balik internet of things (IoT). Memperluas layanan cloud tidak hanya akan menangkap sensor data, tapi juga memberikannya ke dalam analitik big data dan algoritma untuk dimanfaatkan. Layanan cloud IoT yang aman juga akan membantu manufaktur untuk menciptakan produk-produk baru yang aman di data analisa tanpa intervensi manusia.
Politik data mendorong cloud hibrida. Mengetahui dari mana data berasal, bukan hanya sensor atau sistem, tapi dari negara mana, akan memudahkan pemerintah untuk mengeluarkan kebijakan data nasional. Perusahaan-perusahaan multinasional yang berpindah ke cloud akan terjebak di suatu persaingan. Akan ada semakin banyak perusahaan global yang pindah ke penerapan cloud hibrida dengan mesin di pusat data regional yang berfungsi sebagai layanan cloud besar, mendorong pengurangan biaya dan pemenuhan peraturan.
Sistem klasifikasi keamanan baru menyeimbangkan perlindungan dengan akses. Kesadaran pelanggan yang meningkat mengenai bagaimana data bisa dikumpulkan, dibagi, disimpan, dan dicuri, akan menuntut perlindungan atas informasi pribadi. Anda akan melihat politikus, akademisi, dan wartawan tidak memiliki batasan dan etik. Perusahaan akan semakin menggunakan sistem klasifikasi yang mengkategorisasikan dokumen dan data ke dalam kelompok-kelompok dengan kebijakan untuk akses, penarikan, dan penutupan. Ancaman yang berkelanjutan, atau bahkan hacker yang lebih canggih, akan mendorong perusahaan untuk semakin memperketat keamanan, begitu juga akses audit serta penggunaan data.
