Splunk Là Gì
1. Các khái niệm
Splunk là một phần mềm giám sát mạng dựa vào sức mạnh của phân tích nhật ký. Splunk tìm kiếm, giám sát và phân tích dữ liệu lớn được tạo bởi các ứng dụng, hệ thống và thiết bị hạ tầng mạng. Nó có thể hoạt động tốt với nhiều loại định dạng dữ liệu khác nhau (Syslog, csv, apache-log, access_combined …). Splunk được xây dựng dựa trên Lucene và MongoDB.
Bạn đang xem: Splunk là gì
bạn đang xem: Splunk là gì?
2. Tính năng
Định dạng bản ghi: Hỗ trợ hầu hết các loại nhật ký hệ thống, phần cứng hạ tầng mạng, phần mềm, tường lửa, IDS / IPS, nhật ký sự kiện, nhật ký máy trạm …
Các loại thu thập dữ liệu: Splunk có thể thu thập nhật ký từ nhiều nguồn khác nhau. Từ một tập tin hoặc thư mục (kể cả các tập tin nén) trên máy chủ, qua các kết nối UDP, TCP từ các máy chủ Splunk khác trong mô hình Splunk phân tán, từ các bản ghi sự kiện, nhật ký Windows… Splunk kết hợp rất tốt với các máy chủ Splunk khác. Các công cụ thu thập hồ sơ khác.
Cập nhật dữ liệu: Splunk liên tục cập nhật dữ liệu khi các thay đổi xảy ra trong thời gian thực. Cho phép phát hiện và cảnh báo theo thời gian thực.
Lập chỉ mục dữ liệu: Splunk có thể lập chỉ mục dữ liệu với một lượng dữ liệu rất lớn trong một khoảng thời gian ngắn. Giúp tìm kiếm nhanh chóng và thuận tiện.
Tìm kiếm thông tin: Splunk hoạt động hiệu quả với dữ liệu lớn và được cập nhật liên tục. Nó cung cấp cho một công cụ tìm kiếm “Splunk Language” rất thông minh bao gồm các từ khóa, chức năng và cấu trúc tìm kiếm giúp người dùng có thể truy xuất mọi thứ, theo nhiều tiêu chí từ tập dữ liệu rất lớn. Các nhà quản trị mạng cao cấp và chuyên nghiệp thường gọi Splunk là “Splunk toàn năng” hoặc “Splunk như Google cho các tệp Nhật ký” để thể hiện sức mạnh của Splunk.
Giám sát và cảnh báo: Splunk cung cấp cho người dùng cơ chế cảnh báo dựa trên việc tìm kiếm thông tin do người dùng lựa chọn. Khi có sự cố hệ thống phù hợp với tiêu chí người dùng đặt ra, hệ thống sẽ cảnh báo người dùng ngay lập tức (cảnh báo trực tiếp qua giao diện, lưu giữ email).
Khắc phục sự cố: Splunk cũng cung cấp cơ chế tự động sửa lỗi cho các sự cố xảy ra bằng cách tự động chạy các tệp script do người dùng tạo (ví dụ: Block IP, Port …) khi có cảnh báo xảy ra.
Hiển thị thông tin: Splunk cung cấp cơ chế hiển thị rất dễ sử dụng giúp người dùng dễ dàng hình dung trạng thái hệ thống và thực hiện các đánh giá hệ thống. Splunk cũng tự động xuất báo cáo ở nhiều định dạng chuyên nghiệp.
Tiến triển: Nó cung cấp các API hỗ trợ người dùng tạo các ứng dụng trên Splunk. Một số bộ API điển hình như Splunk SDK (cung cấp SDK trên nền tảng Python, Java, JS và PHP), Shep (Splunk Hadoop Integrating – đây là sự kết hợp giữa Splunk và Hadoop), Shuttl (một sản phẩm hỗ trợ sao lưu dữ liệu trong Splunk), Splunkgit (giúp bạn trực quan hóa dữ liệu tốt hơn), Splunk Power Source Resource Kit (bộ công cụ hỗ trợ và quản lý mở rộng hệ thống).
3. Kiến trúc
Mức thấp nhất của kiến trúc Splunk mô tả các phương thức nhập khác nhau mà Splunk hỗ trợ. Các phương thức nhập này có thể được cấu hình để gửi dữ liệu trên sổ làm việc Splunk.
Trước khi dữ liệu đến bộ phân loại Splunk, nó có thể được phân tích hoặc xử lý, có nghĩa là dữ liệu có thể được thực hiện nếu cần thiết.
Sau khi dữ liệu được lập chỉ mục trên Splunk, bạn sẽ tiếp tục phân tích dữ liệu một cách cụ thể.
Splunk hỗ trợ hai loại triển khai: triển khai độc lập và triển khai phân tán. Tùy thuộc vào loại triển khai, một tìm kiếm phù hợp được thực hiện. Splunk chứa các plugin để quản lý dữ liệu, báo cáo, lập kế hoạch và cảnh báo. Toàn bộ công cụ Splunk được hiển thị cho người dùng thông qua Splunk CLI, Splunk Web Interface và Splunk SDK, được hỗ trợ bởi hầu hết các ngôn ngữ.
Splunk cài đặt một tiến trình máy chủ phân tán trên máy chủ được gọi là slunkd. Quá trình này có nhiệm vụ lập chỉ mục và xử lý một lượng lớn dữ liệu thông qua nhiều nguồn khác nhau. Splunkd có khả năng xử lý lượng lớn dữ liệu phát trực tuyến và lập chỉ mục để phân tích thời gian thực trên một hoặc nhiều đường ống.
Mỗi đường ống bao gồm một loạt bộ xử lý, giúp xử lý dữ liệu nhanh hơn và hiệu quả hơn. Dưới đây là những kiến trúc ấn tượng:
Đường ống: Đây là một quá trình hình thành luồng đơn nằm trong dải phân cách.Thầy thuốc: Chúng là các chức năng có thể tái sử dụng riêng lẻ hoạt động trên dữ liệu đi qua một đường ống. Các đường ống trao đổi dữ liệu với nhau thông qua một hàng đợi.
Splunkd cho phép người dùng tìm kiếm, điều hướng và quản lý dữ liệu trên Splunk Enterprise thông qua giao diện web được gọi là Splunk Web. Nó là một máy chủ ứng dụng web dựa trên Python cung cấp giao diện web để sử dụng Splunk. Trong phiên bản trước của Splunk: Splunkd và SplunkTeb là hai quy trình riêng biệt, nhưng kể từ Splunk 6, cả hai quy trình đã được kết hợp làm 1. Nó cho phép người dùng tìm kiếm, phân tích và trực quan hóa dữ liệu bằng giao diện web. Giao diện Web Splunk có thể được truy cập bằng cách sử dụng Cổng thông tin Web Splunk và Splunk cho thấy một API REST để giao tiếp thông qua Cổng thông tin quản lý được chia sẻ.
Kho dữ liệu là một trong những thành phần chính của kiến trúc Splunk. Nó có nhiệm vụ nén và lưu trữ dữ liệu gốc (nguyên vẹn). Dữ liệu được lưu trữ trong các tệp chỉ mục chuỗi thời gian (T SIDX). Kho dữ liệu cũng bao gồm lưu trữ và lưu trữ dựa trên chính sách lưu giữ có thể định cấu hình.
Việc triển khai Splunk Enterprise có thể bao gồm từ triển khai máy chủ đơn lẻ (chỉ chứa vài gigabyte dữ liệu mỗi ngày và được một số người dùng tìm kiếm, phân tích và trực quan hóa dữ liệu có thể truy cập) đến triển khai doanh nghiệp lớn trong nhiều trung tâm dữ liệu, lập chỉ mục hàng trăm terabyte dữ liệu. Dữ liệu và tìm kiếm được thực hiện bởi hàng trăm người dùng. Splunk hỗ trợ kết nối với một phiên bản khác của máy chủ Splunk thông qua TCP để chuyển tiếp dữ liệu từ máy chủ Splunk này sang máy chủ Splunk khác để lưu trữ dữ liệu và các yêu cầu cung cấp và phân phối dữ liệu khác thông qua kết nối TCP Splunk-to-Splunk.
Xem thêm: Cách Marketing Online Hiệu Quả Mà Tiết Kiệm Chi Phí Cho Doanh Nghiệp
Các gói là các thành phần của kiến trúc Splunk lưu trữ các mục nhập cấu hình, tài khoản người dùng, ứng dụng Splunk, tiện ích và các môi trường khác.
Mô-đun là các thành phần của kiến trúc Splunk được sử dụng để thêm các tính năng mới bằng cách sửa đổi hoặc tạo bộ xử lý và đường ống. Mô-đun chỉ là các tập lệnh, phương thức nhập hoặc phần mở rộng tùy chỉnh có thể thêm một tính năng mới hoặc sửa đổi các tính năng hiện có của Splunk.
4. Đánh giá
Splunk mạnh về khả năng phân tích và cảnh báo, nhưng nó không mạnh và không đảm bảo việc thu thập và truyền tải nhật ký. Cụ thể, nó không có cơ chế an toàn trên đường truyền, không phù hợp với các hệ thống yêu cầu cao về bảo mật.
Không có cơ chế tự động phát hiện các cuộc tấn công hoặc sự cố từ bên ngoài. Nhưng điều này phụ thuộc vào kinh nghiệm của người dùng và kiến thức của quản trị viên.
Để triển khai một hệ thống hiệu quả bằng Splunk, chúng ta cũng cần một hệ thống riêng biệt, đây cũng là một trở ngại lớn đối với các hệ thống vừa và nhỏ.
II. Cài đặt và cấu hình
Tải xuống Splunk tại https://www.splunk.com.
Cài đặt Splunk trên Ubuntu:
Tải xuống tệp cài đặt cho Linux.
Trong thư mục chứa tệp cài đặt, chạy lệnh dpkg –i. Splunk sẽ được cài đặt vào thư mục mặc định / opt / splunk.
Chạy lệnh / opt / splunk / bin / splunk –accept-License để tự động chấp nhận giấy phép.
Splunk đã có thể được bắt đầu bằng cách sử dụng lệnh / opt / splunk / bin / splunk start.
Splunk có thể được cấu hình dễ dàng bằng giao diện web tại http: // localhost: 8000 /.
Ngày thứ ba. Phát hiện xâm nhập với Splunk
1. Hệ thống phát hiện xâm nhập (IDS)
Hệ thống phát hiện xâm nhập (IDS) được hiểu đơn giản là hệ thống phát hiện xâm nhập bằng cách phát hiện các bất thường trong lưu lượng mạng cũng như các sự kiện xảy ra trên hệ thống máy tính, từ đó phân tích và phát hiện các vấn đề an ninh hệ thống để đảm bảo phòng thủ trước các cuộc tấn công mạng ngày càng gia tăng.
Khi hệ thống IDS phát hiện sự bất thường, nó sẽ đưa ra cảnh báo cho người quản trị hệ thống để quét các cổng và chặn các kết nối bị ảnh hưởng. Ngoài ra, IDS còn có khả năng phân biệt giữa các cuộc tấn công bên trong và bên ngoài dựa trên dấu hiệu của cuộc tấn công, cơ chế này tương tự như cơ chế của phần mềm diệt virus.
Chức năng chính ban đầu của IDS chỉ là phát hiện chữ ký xâm nhập, vì vậy IDS có thể tạo cảnh báo tấn công chỉ khi một cuộc tấn công đang diễn ra hoặc thậm chí sau khi cuộc tấn công hoàn tất. Ngày càng có nhiều công nghệ mới được tích hợp vào IDS, giúp nó có thể dự đoán các cuộc tấn công và thậm chí phản ứng lại các cuộc tấn công dai dẳng (phản ứng tích cực). Hệ thống IDS cần đáp ứng các yêu cầu sau:
Sức khỏe: IDS không nên coi các hành động thường xuyên trong môi trường hệ thống là bất thường hoặc gây khó chịu.
Hiệu suất hoạt động): Hiệu suất của hệ thống phát hiện xâm nhập phải đủ để phát hiện xâm nhập trong thời gian thực.
Tính hoàn chỉnh: IDS không được bỏ qua bất kỳ mục nhập trái phép nào. Đây là một điều kiện khó thỏa mãn.
Khả năng chịu lỗi: Bản thân IDS phải có khả năng chống lại sự tấn công.
Xem thêm: Bản Đồ Quy Hoạch Đường Vành Đai 2 5, Bản Đồ Chi Tiết Đường Vành Đai 2
Khả năng mở rộng: IDS sẽ có thể xử lý tình huống xấu nhất mà không bị mất bất kỳ thông tin nào. Yêu cầu này được liên kết với các hệ thống mà các sự kiện trong tương lai đến từ nhiều tài nguyên với một số lượng nhỏ máy chủ. Với sự phát triển nhanh chóng và mạnh mẽ của mạng máy tính, hệ thống có thể bị gánh nặng bởi sự gia tăng của số lượng sự kiện.
